Дорожка поиска фактов по новостной коллекции

Эта дорожка посвящена задачам, связанным с поиском фактов в текстах (например, вопросно-ответный (question answering) поиск).

• выявления имен собственных
• выявление именованных объектов заданных типов
• выявление фактов заданных типов

Правила

1. Выделить все именованные сущности
   Для каждого сообщения система должна построить список именованных сущностей.
   Для каждой сущности должна быть указана следующая информация:
   • перечень ссылок на использование сущности в этом сообщении (смещение и длина в байтах)
   • (опционально) Указать класс сущности - персона/организация/географический объект/прочее
2. Выделить факты следующих типов
• Кто работал\работает в данной организации?
• Где работал\работает данный человек?
• Кто владеет или владел данной организацией?
• Какими предприятиями владеет или владела данная организация/персона?
Примечание: К числу владельцев также относятся все покупатели и продавцы компании, а также все ее акционеры (держатели акций, продавцы и покупатели).

Выделение фактов происходит из всей коллекции без учета референций для всех именованных объектов, выделенных участником.

Описание факта в ответе должно содержать следующую информацию:
• тип факта
• ссылка на фрагмент текста, содержащий описание факта (смещение, длина (не более 500 байт))
• два стандартизированных имени фигурантов для этого факта
• ссылка на сущность в тексте (смещение относительно начала фрагмента)

Правила оценки

1. Проверка выделенных имен собственных
   Случайным образом отбирается некоторое подмножество сообщений коллекции и оцениваются все имена собственные, выделенные в этих документах.

   Задание асессору: Является ли данная строка названием имени собственного в контексте данного фрагмента текста? Если да, то является ли она названием организации, именем человека или географическим объектом?
   Варианты ответа: не имя собственное, организация, персона, географический объект, другое имя собственное

2. Проверка фактов Отбирается некоторое число имен собственных (процедура отбора еще не определена, но список будет согласован с участниками) и оцениваются все факты выделенные для этих объектов.

   Задание асессору: Содержит ли данный фрагмент текста описание факта, связанного со следующими фигурантами (A, B)? Если да, то к какому типу фактов он относится?
   Варианты ответа: не является фактом, покупка, продажа, владение, принадлежность, другое

Сводная информация

• Набор данных: новостная коллекция
• Стандартные метрики:
  • точность
  • полнота
  Вычисляются для обобщенных имен собственных, для каждого из классов имен собственных и для выделенных фактов.
• Форматы:
  • данных
  • результатов
  • по выделению именнованных сущностей
  • по выделению фактов
  • экспертных оценок