The website "romip.narod.ru." is not registered with uCoz.
If you are absolutely sure your website must be here,
please contact our Support Team.
If you were searching for something on the Internet and ended up here, try again:

About uCoz web-service

Community

Contacts

Legal information

 Дорожка поиска по документу-образцу
РОМИП
 Новости 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Дорожки 
 Участники 
 Тестовые коллекции 
 История 
 Публикации 
 Народ 
 FAQ 
 Форум 

Switch to EnglishSwitch to English

Дорожка поиска по документу-образцу

Постановка задачи

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска с указанием одного релевантного документа.

Коллекция

Исходным набором данных является коллекция Narod.ru.

Формулировка задания для участвующей системы

Каждой системе предоставляется набор заданий вида запрос и один релевантный документ. Задания строятся на основе того набора заросов, который оценивалался в РОМИП'2003 и РОМИП'2004. Релевантным документом для каждого запроса считаеся документ, оцененный, как срого релевантный, то есть все ассессоры признали его таковым.
Ответ системы, как и для дорожки Веб-поиска, есть упорядоченный список до 100 документов.

Что будет оцениваться

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному(фразовому) запросу с расширенным описанием информационной потребности. Соответсвующий запросу документ-образец ассессор не увидит.
  • метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
    и да/нет/невозможно оценить
  • официальные метрики
    • точность
    • полнота
    • 11-точечный график TREC

Форматы данных