Манифест РОМИПВ последние годы был достигнут значительный прогресс как в теории информационного поиска, так и в создании промышленных информационно-поисковых систем. Непрерывная эволюция информационного пространства и применение методов поиска в новых контекстах мотивирует актуальность дальнейших исследований в области теории информационного поиска. Впечатляющие темпы развития отчасти обусловлены бурным развитием Интернет и растущим интересом к предоставлению поисковой функциональности в практических системах из различных прикладных областей. Не менее важной движущей силой является оценка, являющаяся основным инструментом сравнения эффективности альтернативных подходов. В дополнение к многочисленным специализированным исследованиям в этом направлении, в мире существует ряд инициатив по проведению независимой оценки (например, TREC, SUMMAC и CLEF). В России подобные мероприятия на сегодняшний день не проводятся, и исследования в области информационного поиска носят довольно разрозненный характер. Участие же в мировых инициативах затруднительно и позволяет провести оценку эффективности лишь при работе с информацией на иностранных языках. Целью Российского семинара по Оценке Методов Информационного Поиска является создание плацдарма для проведения независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией. Дополнительными целями проекта являются:
Речь идёт не о разовом мероприятии, а о долговременных планах. В перспективе планируется создание ряда тестовых корпусов и методик оценки для различных задач информационного поиска. На первом этапе предполагается создание одного тестового корпуса (набора данных и тестовых заданий) и проведение независимой оценки на его основе. При этом участникам не требуется предоставлять свои системы или доступ к ним кому-либо, требуется лишь предоставить результаты выполненных тестовых заданий. Для обсуждения результатов планируется проведение очного семинара. Используемые методики оценки будет открытыми, сформированными с учётом мнения участников. Предполагается, что результаты оценки будут опубликованы в свободном доступе, а тестовые корпуса будут впоследствии также доступны не участникам инициативы после проведения оценки. Результаты тестирования предназначены для использования исключительно в исследовательских целях и не могут быть использованы в маркетинговых/коммерческих целях без согласия участника. Инициатива имеет сугубо некоммерческий характер. Затраты на подготовку и проведение тестирования планируется возмещать за счёт взносов участников. Конкретные условия находятся в процессе обсуждения, более детальная информация будет опубликована на сайте инициативы. Инициатива открыта для свободного присоединения всех желающих как создателей - коммерческих поисковых систем, так и исследователей. Если вы заинтересованы в участии - свяжитесь с нами по адресу romip[AT]romip.ru.
Для обсуждения вопросов связанных с проведением семинара на YahooGroups.com
создана |