FAQ

• Общие вопросы
  • что такое корпус?
    Корпус - это набор данных, тестовых заданий и экспертных оценок.

  • Куда идут деньги?
    Инициатива проведения РОМИП по определению не направлена на получение прибыли, но организация и проведение мероприятия безусловно требуют расходов.
    В частности, распространение тестовых коллекций и оплата работы асессоров.
    Участники могут оказывать помочь в проведении проверки результатов "живой силой", тем самым уменьшая размер своего оргвзноса.

  • Кто осуществляет контроль за расходованием средств?
    Оргкомитет ...

  • Что означает "тестовые корпуса будут доступны не участникам"?
    Желающие могут получить к ним доступ. Задания и оценки будут свободно доступны на Веб сайте, а условия получения набора данных будут зависеть от соглашения с владельцем этой информации. (Вероятно, что для получения набора данных будет необходимо подписание соглашения о нераспространении и некоммерческом использовании.)

• Вопросы связанные с участием
  • что требуется от участника?
    согласившись участвовать в инициативе, участник обязуется предоставить в срок результаты выполненных системой заданий, подготовить отчёт на основе полученных результатов оценки и участвовать в итоговом мероприятии.

  • Cколько это стоит?
    косвенные затраты - время на проведение экспериментов, написание отчёта
    минимум прямых затрат оргвзноса на семинар и конференцию (условие RCDL - ассоциированные события должны участвовать и в конференции)
    Оргвзнос на проведение семинара компенсирует затраты на распространение тестовых коллекций, проведение оценки и публикацию материалов. Часть затрат может быть компенсирована за счёт участия в процессе экспертной оценки.
    Конкретные цифры уточняются.

  • Как это может быть нам полезно?
    Возможность проверить идею при независимой оценке. Возможность сравнивать относительную полезность методов.

  • Зачем участвовать, если и так все будет доступно?
    Решаемые задачи будут довольно объёмными и поэтому экспертные оценки будут доступны лишь частично. Для участвующих систем предполагается сбор примерно равного объёма информации от экспертов, что нельзя гарантировать для не участвовавших систем. Ну и кроме того участие даёт возможность обсудить наблюдаемые результаты с другими специалистами в этой области.

  • Как и зачем участнику помогать в проверке результатов?
    

  • Какие результаты должны быть предоставлены для проверки?
    ранжированные списки (зависит от задачи) ...

  • Могу ли я представить для оценки несколько вариантов ответов?
    это поощряется, по возможности pool будет учитывать до 2-х прогонов от каждого участника, но и прогоны свыше 2-х также могут быть полезны

  • Могу ли я сам выбрать цвет? ;)
    Оргкомитет готов учесть пожелания участника, но с точки зрения организации анонимности использование случайного выбора цвета является предпочтительным вариантом.

• Вопросы связанные с методологией проведения семинара
  • что значит открытая методология оценки?
    описание методологии свободно доступны. возможность участвовать в обсуждении формируемых методологий.

  • Что мешает участникам жульничать и "подчищать" результаты?
    Предполагается, что результаты оценки не могут использоваться в коммерческих целях и это снижает заинтересованность в жульничестве. Кроме того, предполагается такое планирование процедуры оценки, которое затрудняет фальсификацию результатов. Например, участники будут выполнять большое количество тестовых заданий, а оценка будет производится только по их подмножеству.

  • Зачем нужны и эксперты и асессоры?
    

  • А судьи кто? (Как формируется команда оценщиков-асессоров?)
    

  • Насколько объективны оценки?
    

  • Почему запросы для оценки отбираются не случайно, а вручную?
    

  • Кто выбирает официальные метрики и почему рассматриваются только они?
    "Официальность" метрик носит относительный характер - эти метрики используются оргкомитетом для вычисления оценок и подведения общих итогов.
    Список официальных метрик открыт и участники могут предлагать дополнительные метрики для включения. Кроме этого участник вправе использовать другие метрики для оценки своих результатов.

  • Как техника общей кучи помогает вычислить полноту?
    это относительная полнота ...