Дорожка контекстно-зависимого аннотирования текстовых документов

Задача

Дорожка посвящена оценке методов решения задачи контекстно-зависимого аннотирования текстовых документов.

Общая процедура проведения дорожки стандартна.

Коллекция

Аннотированию подлежат только документы, упоминающиеся в задании.

Формулировка задания для участвующей системы

Система-участник получает колекции Narod.ru и Legal и набор заданий вида "запрос и документ". Система должна предоставить аннотацию этого документа по этому запросу.

Набор заданий был создан на основе множества запросов, которые оценивались при проведении РОМИП'2004.

Ответом системы для задания является фрагмент текста не более 300 символов без HTML разметки.

Методология оценки

• постановка задачи ассессору (полная инструкция):
  Асессор оценивает релевантность документа запросу по аннтотации этого документа. Сам документ ассессор не увидит.
  При оценке асессор будет видеть название (первые 100 символов) и аннотацию. Размер названия не учитывается в размере аннотации.
  
• шкала оценки
• точно/возможно/вероятно/нет/невозможно оценить
• да/нет/невозможно оценить
• официальные метрики:
  мера согласованности оценок для полных документов, полученных в дорожке поиска по запросу, и для аннотаций, полученныхв данной дорожке

Результаты оценки

• Список оценивавшихся заданий
• Таблицы релевантности
• Сводные результаты систем

Подробное описание методики оценки и официальных метрик можно найти в трудах семинара за 2005 год.

Форматы данных

• коллекции
• заданий
• ответов систем