Целью работы является выявление множества документов, которые содержат полезную (релевантную) информацию при поиске по заданному запросу.

Каждое задание состоит из:

• Формулировки поискового запроса
• Поясняющего комментария для этого запроса (его может и не быть)
• Списка аннотаций документов, которые необходимо оценить

Технически задание распространяется в виде одного файла с описанием задания (с расширением .rtska)

Результаты выполнения задания будут сохранены в файле с расширением .res.

Общие правила

Пожалуйста, придерживайтесь следующих правил при проведении оценки:

• Для работы с системой оценки асессор должен зарегистрироваться и всегда использовать одно и то же имя пользователя. Не допускается использование одного и того же имени разными людьми.
• Задания следует выполнять последовательно. Параллельная работа над несколькими заданиями не желательна.
• Рекомендуется выполнять задания в том порядке, в каком система вам их показывает при выборе нового задания.
• Решение о степени соответствия (релевантности) ответа запросу принимается Вами самостоятельно в соответствии с Вашим мнением. Однако, Вас могут попросить мотивировать ваш выбор.
• Перед началом оценки попробуйте представить, что является целью поиска по такому запросу и какая информация является искомой - конкретный факт или документ, информация на тему.
• Пожалуйста, оценивайте ответы внимательно. Если в результате проверки будет выявлено низкое качество ваших оценок, то ваш труд может быть не зачтен.

Задачей асессора является оценить по аннотации документа наличие в самом документе полезной информации для заданной информационной потребности. Поэтому, представьте себе, что поисковая система вернула вам такое описание документа в списке результатов, - стали ли бы вы загружать и смотреть на сам документ?

Шкала оценки

Для оценки используется следующая шкала:

• Соответствующий (релевантный/витальный)
  Совершенно очевидно, что полезная информация в документе есть. Например, таким случаем является упоминание ответа или частей ответа в самой аннотации.
• Скорее соответствующий (релевантный +)
  Собственно детального ответа в аннотации нет, но есть частичный ответ или что-то, что позволяет предположить наличие ответа в тексте документа. Эта оценка означает, что, увидев такую аннотацию в результатах поиска, вы бы непременно открыли этот документ для ознакомления.
• Возможно соответствующий (релевантный )-
  По аннотации вам кажется, что документ на близкую заданной потребности тему и возможно в нем есть что-то полезное. Вы бы скорее всего в него заглянули, если бы не нашлось лучших ответов.
• Не соответствующий (нерелевантный)
  По аннотации вам кажется, что в документе нет ничего полезного. Например, документ явно посвящен другим вопросам.
• Документ не может быть оценен
  Аннотация не читается (представлена в некорректной кодировке или на непонятном языке), вызывает технические проблемы в браузере или не может быть оценен по каким-либо другим объективным причинам.