The website "romip.narod.ru." is not registered with uCoz.
If you are absolutely sure your website must be here,
please contact our Support Team.
If you were searching for something on the Internet and ended up here, try again:

About uCoz web-service

Community

Legal information

 Дорожка поиска по Веб коллекции
РОМИП

 Новости 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Дорожки 
 Участники 
 Тестовые коллекции 
 История 
 Публикации 
 Народ 
 FAQ 
 Форум 

Switch to EnglishSwitch to English

Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Коллекция

Исходный набор данных коллекция Narod.ru.

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем Рунет (Яндекс и Рамблер)
(всего 24250, набор включает запросы, использованные в предыдущих циклах РОМИП).
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Что будет оцениваться

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному запросу или с учетом,или без учета расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
    и да/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC

Форматы данных