The website "romip.narod.ru." is not registered with uCoz.
If you are absolutely sure your website must be here,
please contact our Support Team.
If you were searching for something on the Internet and ended up here, try again:

About uCoz web-service

Community

Legal information

 Дорожка поиска по коллекции нормативных документов
РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по коллекции нормативных документов

Дорожка посвящена оценке методов решения традиционной задаче поиска по запросу в НЕ Веб коллекции. В РОМИП'2004 использовалась коллекция нормативных документов, предоставленная компанией Кодекс.

Общая процедура проведения дорожки стандартна.

Сводная информация

  • Набор данных: коллекция ROMIP-2004-Legal (1.5 Гб).
    (в набор включаются файлы вида legal.*, так и legal_training.*)
  • Задания: выборка из журналов крупных поисковых систем работающих с подобной информацией (Кодекс и Парк.Ру)
    (всего примерно 13000)
  • Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • Шкала оценки релевантности: точно/вероятно/возможно/нет/невозможно оценить
  • Количество оцениваемых заданий: 50 "понятия" + 41 "документы"
  • Длина возвращаемых системой ответов на задания: до 100 ссылок
  • Стандартные метрики:
    • точность
    • полнота
    • 11-точечный график TREC
  • Форматы: