Пятый российский семинар по Оценке Методов Информационного Поиска
Март 2007 - Октябрь 2007
http://romip.ru
Для сближения позиций различных исследователей и проведения независи-
мой оценки в мире сложилось несколько форумов - американский
европейский , японский
и российский РОМИП.
Отличительной чертой РОМИП является использование русскоязычных коллекций и
активное участие исследователей из России. Материалы семинаров
РОМИП 2003, 2004, 2005, 2006 годов свободно доступны на сайте семинара.
Цели и аудитория
Основными целями Российского семинара по Оценке Методов Информационного Поиска
являются:
создание и развитие информационных ресурсов, обеспечивающих
исследования в области информационного поиска;
проведение независимой оценки методов информационного поиска,
ориентированных на работу с русскоязычной информацией;
формирование среды для исследования проблем информационного поиска
на актуальных для российского пользователя задачах;
формирование требований к оформлению текстовых коллекций для
тестирования;
формирование "правил игры" - этических норм представления и
использования результатов.
К участию приглашаются все заинтересованные лица - как создатели поисковых
систем, так и исследователи, занимающиеся проблемами информационного поиска.
Важные даты (приблизительный график)
Приём заявок на участие: до 1 мая
Предоставление результатов выполнения заданий: с 15 по 15 июля (в зависимости от дорожки)
Результаты оценки: после 20 августа (в зависимости от дорожки)
Тексты докладов: 20 сентября
Очная встреча: 15 - 18 октября
Рассматриваемые задачи
Предварительно, программа семинара в 2007 году будет состоять из следующих
секций (дорожек), каждая из которых посвящена оценке методов решения одной
из задач информационного поиска:
классическая задача поиска по запросу
по коллекции нормативно-правовых документов
по Веб-коллекции
по смешанной коллекции
тематическая классификация
нормативно-правовых документов
Веб-сайтов
Веб-страниц
фактографический поиск по новостной коллекции
структуризация новостного потока
контекстно-зависимое аннотирование текстовых документов
поиск похожих документов по документу образцу или фрагменту текста
вопросно-ответный поиск
Окончательный список будет сформирован по результатам обсуждения в
и
поступивших заявок на участие. Подробные описания дорожек и правила
проведения обсуждаются в РОМИП и будут опубликованы на сайте семинара.
Наборы данных
При проведении оценки используются следующие коллекции (список может
быть расширен):
Обсуждается возможность создания новой Веб-коллекции большего размера
и более разумным графом ссылок.
Процедура и условия участия
Все участники подписывают лицензионные соглашения об использовании коллекций
РОМИП исключительно для исследовательских (некоммерческих) целей в рамках
проекта РОМИП.
Участник, получив набор данных и заданий, в оговоренные сроки предоставляет
результат(ы) выполнения заданий своей системы для их независимой оценки,
которая проводится с соблюдением анонимности источника результата.
Поощряется также и решение модифицированных задач на основе используемых
наборов данных.
Участник обязуется предоставить статью с описанием общих принципов
использованного подхода и полученных результатов для публикации в трудах
семинара и сделать доклад на очной части семинара.
Предполагается также, что участники компенсируют часть затрат на
распространение тестовых корпусов и оценку
результатов, пропорционально степени их участия. Компенсировать затраты
можно с помощью оплаты организационного взноса или путем выделения
ресурсов для проведения оценки.
Результаты тестирования предназначены для использования исключительно
в исследовательских целях и не могут быть использованы в маркетинговых или
коммерческих целях.
Очный семинар
В 2007 году предполагается совмещение очной части РОМИП с российской
конференцией по электронным библиотекам
(), которая пройдет в
Переславле-Залеcском с 15 по 18 октября 2007 года.
Правила подачи заявки
Заявка на участие в семинаре РОМИП должна содержать следующую информацию:
краткая (в 1-2 абзаца) презентация системы
(название, Веб-сайт, краткое описание принципов используемого подхода)
контактная информация (организация, email контактного лица)
список дорожек, в которых Вы заинтересованы принять участие
