Дорожки

Тестовые коллекции

Архив

Дорожка поиска по Веб коллекции

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Общая процедура проведения дорожки стандартна.

Исходный набор данных - коллекции Km.ru и BY.web.

Система-участник получает коллекции Km.ru и BY.web и набор заданий. Набор заданий состоит из 19627 запросов и был сформирован из:

всех запросов, которые оценивались в дорожке Веб поиска в предыдущих циклах РОМИП (2003-2006)
выборки запросов из лога Яндекс за 28 мая 2007 года (выбирались запросы, по которым что-то нашлось; каждый сотый; профильтровано порно фильтром). Дополнительно были удалены запросы, использующие специфику языка запросов Яндекс.
выборки из 10000 запросов к поиску по KM.ru

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

постановка задания ассессору:
Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
шкала оценки релевантности:
- точно/возможно/вероятно/нет/невозможно оценить
- да/нет/невозможно оценить
официальные метрики:
- точность
- полнота
- 11-точечный график TREC
- bpref