Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Общая процедура проведения дорожки стандартна.

Коллекция

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем Рунет (Яндекс и Рамблер). Всего 24250, включая запросы, использованные в предыдущих циклах РОМИП.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методолгия оценки

• постановка задания ассессору (полная инструкция):
  Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50
• шкала оценки релевантности:
  
  • точно/возможно/вероятно/нет/невозможно оценить
  • да/нет/невозможно оценить
• официальные метрики:
  
  • точность
  • полнота
  • 11-точечный график TREC

Результаты оценки

• Список оценивавшихся заданий
• Таблицы релевантности
• Сводные результаты систем

Подробное описание методики оценки и официальных метрик можно найти в трудах семинара за 2005 год.

Форматы данных

• коллекции
• заданий
• ответов систем