Выбор "дорожек" для РОМИП

Выбор списка дорожек для семинара происходит следующим образом:

• Формируется множество возможных реализуемых дорожек.
  
• По каждой дорожке производится открытое голосование
  
Целью голосования является определить заинтересованность каждого из участников в каждой из возможных дорожек (можно заявляться на участие в нескольких дорожках).
• Выбираются наиболее популярные дорожки
  Отбор основан на максимизации выгоды (интереса участников) при условии ограниченности доступных ресурсов (как временных, так и финансовых на проведение оценки).

Множество возможных дорожек открыто и каждый заинтересованный участник может предлагать свои варианты на общее обсуждение в списке рассылки.

Описание дорожки включает в себя ответы на следующие вопросы:

• Для оценки методов решения какой задачи дорожка предназначена?
• Какой набор данных предполагается использовать? (с указанием характеристик - объёма, легальности, разнородности, ...)
• Какие будут задания? Сколько? Как они будут формироваться? (из логов, искусственно созданные, ...)
• В каком виде предполагается получать ответы от систем?
• Как будет организована процедура оценки результатов? Сколько ручного труда необходимо и каковы предполагаемые затраты на проведение оценки?
• Какие меры могут быть использованы для оценки
• Что мотивирует "осмысленность" получаемых цифр и основанных на них выводов о превосходстве тех или иных методов? (Методологические аспекты)
  Например:
  • Стабильность результатов относительно количества заданий
  • Стабильность относительно процедуры оценки (порядка оценки или других факторов связанных с экспертами)
  • Защищённость от фальсификации результатов

К обсуждению принимаются дорожки для которых описана не вся требуемая информация, но для того чтобы дорожка получила статус "реализуемой" необходимо иметь полное описание и обоснование доступности необходимых ресурсов (данных, экспертного времени, т.п.)