Дорожка поиска фактов по Веб коллекции

Эта дорожка посвящена задачам, связанным с поиском фактов в текстах (например, вопросно-ответный (question answering) поиск).

Сводная информация

• Набор данных: коллекция narod.ru от РОМИП'2003 (7+ Гб).
  (в набор включаются файлы вида narod.*, так и narod_training.*)
• Задания: примерно 5000 персон и краткая информация о них
  (для некоторых из них с указанием псевдонимов)
• Вид ответа системы: для каждой персоны необходимо привести набор фактов связанных с этой персоной. Факт - это фрагмент текста, описывающий событие связанное с этой персоной. Разрешено два альтернативных видов ответов - до 150 или до 300 символов длинной.
• Метод оценки: видимо метод "общего котла" (pooling) (глубина пула и другие параметры еще обсуждаются)
• Шкала оценки: да/нет/невозможно оценить (обсуждается расширение шкалы)
  
• Количество оцениваемых заданий: ориентировочно 50
• Длина возвращаемых системой ответов на задания: неограничено
• Стандартные метрики:
  • точность
  • полнота
• Форматы:
  • данных
  • заданий и рубрикатора
  • результатов
  • экспертных оценок