Дорожка поиска по документу-образцу

Задача

Дорожка посвящена оценке методов решения задачи поиска по запросу с использованием обратной связи от пользователя. В рамках этой же дорожки проводится косвенное тестирование эффективности методов поиска по документу-образцу.

Общая процедура проведения дорожки стандартна.

Коллекция

В набор включаются документы из всех архивов - narod.*, legal.* и *_training.*.

Формулировка задания для участвующей системы

Каждой системе предоставляется объединенная коллекция и набор заданий (всего 13119) вида запрос и один релевантный документ. Задания строятся на основе того набора заросов, который оценивалался в РОМИП'2004-РОМИП'2006. Релевантным документом для каждого запроса считается документ, оцененный, как строго релевантный, то есть все ассессоры признали его таковым.

Ответ системы, как и для других дорожек по поиску, есть упорядоченный список до 100 документов.

Методолгия оценки

• постановка задания ассессору:
  Ассессор оценивает соответствие документов исходному(фразовому) запросу на основе расширенного описания информационной потребности. Соответсвующий запросу документ-образец ассессор не увидит.
• метод оценки: метод "общего котла" (pooling) c глубиной пула 50
• шкала оценки релевантности:
  
  • точно/возможно/вероятно/нет/невозможно оценить
  • да/нет/невозможно оценить
• официальные метрики
  • точность
  • полнота
  • 11-точечный график TREC
  • bpref

Форматы данных

• коллекции
• заданий
• ответов систем