Российский семинар по Оценке Методов Информационного Поиска (РОМИП'2005)
Март 2005 - Октябрь 2005
http://romip.ru
Бурный рост объемов доступной информации обуславливает интерес к решению
информационно-поисковых задач и стимулирует исследования в этой области.
Качество получаемых результатов во многом зависит от возможности
адекватно сравнивать эффективность альтернативных подходов.
Для сближения позиций различных исследователей и проведения независимой
оценки в мире уже сложилось несколько форумов - например, американский ,
европейский ,
японский .
РОМИП - это российский вариант такого форума, ориентированный на
работу с русскоязычными коллекциями и активное участие российских
исследователей. В 2005 году проводится третий семинар серии
семинаров РОМИП
(материалы семинаров 2003 и 2004 годов доступны на сайте семинара).
Цели и аудитория
Основными целями Российского семинара по Оценке Методов Информационного Поиска
являются:
создание и развитие информационных ресурсов, обеспечивающих
исследования в области информационного поиска (информационно-поисковых
систем, экспертных систем, баз данных, других дисциплин);
проведение независимой оценки методов информационного поиска,
ориентированных на работу с русскоязычной информацией;
формирование среды для исследования феномена информационного поиска
на актуальных для российского пользователя задачах;
формирование требований к оформлению текстовых коллекций для
тестирования;
формирование "правил игры" - этических норм представления и
использования результатов.
Дополнительными целями проекта являются:
консолидация сообщества российских исследователей и разработчиков,
занимающихся информационным поиском;
сотрудничество с зарубежными инициативами по тестированию систем
информационного поиска;
расширение контактов с зарубежными исследователями и разработчиками,
занимающимися многоязычным информационным поиском;
привлечение широкого внимания к проблемам и перспективам информационного
поиска и интенсификация исследований в этой области в России;
создание предпосылок и стимулов для дальнейшего развития
участвующих систем с целью совершенствования качества поиска.
К участию приглашаются все заинтересованные лица - как создатели поисковых
систем, так и исследователи, занимающиеся проблемами информационного поиска.
Важные даты (приблизительный график)
Приём заявок на участие: до 28 марта
Распространение заданий: до 15 апреля
Предоставление результатов выполнения заданий: с 30 мая по 31 июня (в зависимости от дорожки)
Результаты оценки: после 2 августа (в зависимости от дорожки)
Тексты докладов: 4 сентября
Очная встреча: 4 октября - 6 октября
Процедура и условия участия
Все участники подписывают лицензионные соглашения об использовании
коллекций РОМИП исключительно для исследовательских (некоммерческих) целей в
рамках проекта РОМИП.
Участник, получив набор данных и заданий, в оговоренные сроки предоставляет
результат(ы) выполнения заданий своей системы для их независимой оценки,
которая проводится
с соблюдением анонимности источника результата. Поощряется также и
решение модифицированных задач на основе используемых наборов данных.
От участников также ожидается представление статьи с описанием общих
принципов использованного подхода и полученных результатов.
Статьи участников будут представлены на очном семинаре и опубликованы.
В 2005 году предполагается совмещение этого семинара с российской
конференцией по электронным библиотекам (), которая пройдёт в
Ярославле с 4 по 6 октября 2005 года.
Предполагается также, что участники компенсируют часть затрат на
распространение тестовых корпусов и оценку результатов, пропорционально
степени их участия. Компенсации могут производиться как путем оплаты
оргвзносов, так и путем выделения трудовых ресурсов для проведения оценки
(по предварительной договоренности).
Результаты тестирования предназначены для использования исключительно в
исследовательских целях и не могут быть использованы в
маркетинговых/коммерческих целях без согласия участника.
Дорожки
В 2005 году семинар будет состоять из нескольких секций, посвященных
оценке методов решения ряда задач информационного поиска (дорожек).
контекстно-зависимое аннотирование текстовых документов
Обсуждается также несколько других возможных вариантов дорожек, включая:
вариант поиска по запросу для которого известен контекст (абзац текста)
поиск похожих документов по документу образцу или фрагменту текста
Окончательный список будет сформирован по результатам общего обсуждения
и полученных заявок.
Участники могут принимать участие как в одной, так и в нескольких дорожках.
Подробные описания дорожек и правила проведения обсуждаются
и будут опубликованы на сайте семинара.
