Манифест инициативы по проведению
Российского семинара по Оценке Методов Информационного Поиска (РОМИП)
В последние годы был достигнут значительный прогресс как в
теории информационного поиска, так и в создании промышленных
информационно-поисковых систем.
Непрерывная эволюция информационного пространства и применение
методов поиска в новых контекстах мотивирует актуальность дальнейших
исследований в области теории информационного поиска.
Впечатляющие темпы развития отчасти обусловлены бурным развитием Интернет и
растущим интересом к предоставлению поисковой функциональности в
практических системах из различных прикладных областей.
Не менее важной движущей силой является оценка, являющаяся основным
инструментом сравнения эффективности альтернативных подходов. В дополнение к
многочисленным специализированным исследованиям в этом направлении, в мире
существует ряд инициатив по проведению независимой оценки (например, TREC,
SUMMAC и CLEF).
В России подобные мероприятия на сегодняшний день не проводятся, и
исследования в области информационного поиска носят довольно разрозненный
характер. Участие же в мировых инициативах затруднительно и позволяет
провести оценку эффективности лишь при работе с информацией на иностранных
языках.
Целью Российского семинара по Оценке Методов Информационного Поиска является
создание плацдарма для проведения независимой оценки методов информационного
поиска, ориентированных на работу с русскоязычной информацией.
Дополнительными целями проекта являются:
консолидация сообщества российских исследователей и разработчиков,
занимающихся информационным поиском;
сотрудничество с зарубежными инициативами по тестированию систем
информационного поиска;
расширение контактов с зарубежными исследователями и разработчиками,
занимающимися многоязыковым информационным поиском;
привлечение широкого внимания к проблемам и перспективам информационного
поиска и интенсификация исследований в этой области в России;
создание предпосылок и стимулов для дальнейшего развития
участвующих систем с целью совершенствования качества поиска.
Речь идёт не о разовом мероприятии, а о долговременных планах.
В перспективе планируется создание ряда тестовых корпусов и
методик оценки для различных задач информационного поиска.
На первом этапе предполагается создание одного тестового корпуса (набора
данных и тестовых заданий) и проведение независимой оценки на его основе.
При этом участникам не требуется предоставлять свои системы или доступ к ним
кому-либо, требуется лишь предоставить результаты выполненных тестовых
заданий. Для обсуждения результатов планируется проведение очного семинара.
Используемые методики оценки будет открытыми, сформированными с учётом
мнения участников. Предполагается, что результаты оценки будут опубликованы
в свободном доступе, а тестовые корпуса будут впоследствии также
доступны не участникам инициативы после проведения оценки.
Результаты тестирования предназначены
для использования исключительно в исследовательских целях и не могут быть
использованы в маркетинговых/коммерческих целях без согласия участника.
Инициатива имеет сугубо некоммерческий характер. Затраты на подготовку
и проведение тестирования планируется возмещать за счёт взносов
участников. Конкретные условия находятся в процессе обсуждения, более
детальная информация будет опубликована на сайте инициативы.
Инициатива открыта для свободного присоединения всех желающих как создателей
- коммерческих поисковых систем, так и исследователей.
Если вы заинтересованы в участии - свяжитесь с нами по адресу
spm111@yandex.ru.
Более подробную информацию об инициативе можно найти по адресу
http://romip.narod.ru.
Для обсуждения вопросов связанных с проведением семинара на YahooGroups.com
создана при
которой существует список рассылки.
