Приглашение к Участию

Российский семинар по Оценке Методов Информационного Поиска (РОМИП'2005)

Март 2005 - Октябрь 2005
http://romip.ru

Бурный рост объемов доступной информации обуславливает интерес к решению информационно-поисковых задач и стимулирует исследования в этой области. Качество получаемых результатов во многом зависит от возможности адекватно сравнивать эффективность альтернативных подходов.

Для сближения позиций различных исследователей и проведения независимой оценки в мире уже сложилось несколько форумов - например, американский TREC, европейский CLEF, японский NTCIR.

РОМИП - это российский вариант такого форума, ориентированный на работу с русскоязычными коллекциями и активное участие российских исследователей. В 2005 году проводится третий семинар серии семинаров РОМИП (материалы семинаров 2003 и 2004 годов доступны на сайте семинара).

Цели и аудитория

Основными целями Российского семинара по Оценке Методов Информационного Поиска являются:

• создание и развитие информационных ресурсов, обеспечивающих исследования в области информационного поиска (информационно-поисковых систем, экспертных систем, баз данных, других дисциплин);
• проведение независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией;
• формирование среды для исследования феномена информационного поиска на актуальных для российского пользователя задачах;
• формирование требований к оформлению текстовых коллекций для тестирования;
• формирование "правил игры" - этических норм представления и использования результатов.

Дополнительными целями проекта являются:

• консолидация сообщества российских исследователей и разработчиков, занимающихся информационным поиском;
• сотрудничество с зарубежными инициативами по тестированию систем информационного поиска;
• расширение контактов с зарубежными исследователями и разработчиками, занимающимися многоязычным информационным поиском;
• привлечение широкого внимания к проблемам и перспективам информационного поиска и интенсификация исследований в этой области в России;
• создание предпосылок и стимулов для дальнейшего развития участвующих систем с целью совершенствования качества поиска.

Важные даты (приблизительный график)

Процедура и условия участия

Участник, получив набор данных и заданий, в оговоренные сроки предоставляет результат(ы) выполнения заданий своей системы для их независимой оценки, которая проводится с соблюдением анонимности источника результата. Поощряется также и решение модифицированных задач на основе используемых наборов данных.

От участников также ожидается представление статьи с описанием общих принципов использованного подхода и полученных результатов.

Статьи участников будут представлены на очном семинаре и опубликованы. В 2005 году предполагается совмещение этого семинара с российской конференцией по электронным библиотекам (RCDL'2005), которая пройдёт в Ярославле с 4 по 6 октября 2005 года.

Предполагается также, что участники компенсируют часть затрат на распространение тестовых корпусов и оценку результатов, пропорционально степени их участия. Компенсации могут производиться как путем оплаты оргвзносов, так и путем выделения трудовых ресурсов для проведения оценки (по предварительной договоренности).

Результаты тестирования предназначены для использования исключительно в исследовательских целях и не могут быть использованы в маркетинговых/коммерческих целях без согласия участника.

Дорожки

Предварительный список дорожек состоит из:

• классическая задача поиска по запросу
  • по коллекции нормативно-правовых документов
  • по Веб-коллекции
• тематическая классификация
  • нормативно-правовых документов
  • Веб-сайтов
  • Веб-страниц
• фактографический поиск по новостной коллекции
• новостной поиск
• контекстно-зависимое аннотирование текстовых документов

Обсуждается также несколько других возможных вариантов дорожек, включая:

• вариант поиска по запросу для которого известен контекст (абзац текста)
• поиск похожих документов по документу образцу или фрагменту текста

Окончательный список будет сформирован по результатам общего обсуждения и полученных заявок.

Участники могут принимать участие как в одной, так и в нескольких дорожках. Подробные описания дорожек и правила проведения обсуждаются в списке рассылки РОМИП и будут опубликованы на сайте семинара.

Наборы данных

Оргкомитет (возможно расширение состава)

• Михаил Агеев (МГУ, Москва)
• Александр Антонов (Галактика, Москва)
• Павел Браславский (ИМаш УрО РАН, Екатеринбург)
• Максим Губин (Кодекс, Санкт-Петербург)
• Борис Добров (УИС РОССИЯ, Москва)
• Игорь Кураленок (ПМПУ СПбГУ, Санкт-Петербург)
• Игорь Некрестьянов (мат-мех СПбГУ, Санкт-Петербург)
• Владимир Плешко (Гарант-Парк Интернет, Москва)
• Илья Сегалович (Яндекс, Москва)
• Влад Шабанов (Рамблер, Москва)

Правила подачи заявки

• краткая (в 1-2 абзаца) презентация системы (название, ссылка в web, краткое описание принципов используемого подхода)
• контактная информация (организация, email контактного лица)
• список дорожек, в которых вы заинтересованы принять участие

Дополнительная информация

Основным средством общения и координации в РОМИП является электронная почта.

Мы приглашаем желающих подписаться на рассылку РОМИП http://www.yahoogroups.com/group/romip.