Дорожка контекстно-зависимого аннотирования текстовых документов

Задача

Дорожка посвящена оценке методов решения задачи контекстно-зависимого аннотирования текстовых документов.

Общая процедура проведения дорожки стандартна.

Коллекция

Аннотированию подлежат только документы, упоминающиеся в задании.

Формулировка задания для участвующей системы

Система-участник получает колекции Narod.ru и Legal и набор заданий вида "запрос и документ". Система должна предоставить аннотацию этого документа по этому запросу.

Набор заданий был создан на основе множества запросов, которые оценивались при проведении РОМИП'2003-РОМИП'2005.

Ответом системы для задания является фрагмент текста не более 300 символов без HTML разметки.

Методология оценки

• постановка задачи ассессору (полная инструкция):
  Асессор оценивает релевантность документа запросу по аннтотации этого документа. Сам документ ассессор не увидит.
  При оценке асессор будет видеть название (первые 100 символов) и аннотацию. Размер названия не учитывается в размере аннотации.
  
• шкала оценки
• точно/возможно/вероятно/нет/невозможно оценить
• да/нет/невозможно оценить
• официальные метрики:
  мера согласованности оценок для полных документов, полученных в дорожке поиска по запросу, и для аннотаций, полученныхв данной дорожке

Форматы данных

• коллекции
• заданий
• ответов систем