The website "romip.narod.ru." is not registered with uCoz.
If you are absolutely sure your website must be here,
please contact our Support Team.
If you were searching for something on the Internet and ended up here, try again:

About uCoz web-service

Community

Contacts

Legal information

 [РОМИП] Общие принципы

Новости
Правила
Заявка на участие
График
Дорожки:
   Поиск
   Классификация
Участники
Организация
FAQ
Форум

   Семинар РОМИП

В рамках инициативы по проведению семинара РОМИП/RIRES предлагается использовать циклический подход. В рамках каждого (годового) цикла из множества реализуемых проектов по созданию тестовых наборов выбираются один или несколько наборов, которые наиболее интересны участникам. Эти отобранные проекты реализуются, а по завершении этапа с учётом накопленного опыта и текущих приоритетов участников выбираются новые проекты.

Структурно семинар представляет из себя набор дорожек (track) -- секций, посвящённых конкретным проектам (с фиксированной задачей и правилами оценки).

Важнейшим принципом РОМИП является совместное с участниками определение задач для оценки и формирование правил проведения оценки. Оргкомитет лишь координирует проведение секций.

Другим основополагающим принципом РОМИП является использование результатов оценки исключительно в исследовательских целях и запрещение их использования в маркетинговых/коммерческих целях без согласия участника.

Структура годового цикла

  1. Подготовительный этап.
    На этом этапе определяется список участников, уточняется список рассматриваемых задач и методология создания тестовых коллекций и оценки. Оговариваются форматы и способы обмена данными, официальные метрики для оценки. Фиксируется график проведения.

    Для того чтобы участвовать в семинаре участник должен подать заявку к рассмотрению оргкомитетом, участник платит вступительный взнос (компенсирующий начальные затраты на создание и распространение наборов данных), а также подписывает необходимые соглашения (лицензии).

    Все участники получают псевдонимы (которые не будут ассоциироваться с информацией о конкретных участниках - например, цвета), которые будут использоваться для анонимной оценки и публикации результатов. Информацию о соответствии между псевдонимом и участником будет известна лишь самому участнику и ограниченному подмножеству оргкомитета.

  2. Подготовка тестовых наборов.
    Оргкомитет формирует тестовые наборы данных, заданий и распространяет их участникам. В зависимости от происхождения данных может требоваться оформление соглашения о нераспространении и ограничении возможностей использования набора участником.

  3. Проведение экспериментальных прогонов своей системы.
    Участник самостоятельно и на своём оборудовании выполняет поисковые задания. При предоставлении результатов (полученных ответов) оргкомитету участник должен использовать полученный псевдоним (например, псевдонимом может быть является имя/пароль для ftp-сервера) и соблюдать оговорённые сроки и формат представления результатов.

  4. Оценка полученных ответов.
    Оргкомитет организует проведение оценки (в большинстве случаев по-видимому с использованием независимых экспертов) полученных ответов. Конкретная методология оценки зависит от рассматриваемой задачи и определяется на подготовительном этапе. Информация о всех оценках будет доступна всем участникам, но эта информация будет использовать псевдонимы для ссылок на участников