Приглашение к Участию
"Российский семинар по Оценке Методов Информационного Поиска"
Март 2003 - Октябрь 2003
http://romip.narod.ru
В последние годы был достигнут значительный прогресс как в теории
информационного поиска, так и в создании промышленных
информационно-поисковых систем.
Непрерывная эволюция информационного пространства и применение методов
поиска в новых контекстах определяет актуальность дальнейших исследований в
области теории информационного поиска.
Впечатляющие темпы развития во многом обусловлены бурным развитием Интернет
и растущим интересом к предоставлению поисковой функциональности в
в прикладных информационных системах.
Важной движущей силой является оценка, предоставляющая возможность
сравнивать эффективность альтернативных подходов.
В мире в рамках нескольких инициатив проводится независимая оценка
методов поиска (TREC, SUMMAC, CLEF). В результате этой работы накоплен
объёмный материал, состоящий как из тестовых наборов данных и запросов, так
и из эталонных суждений о релевантности для найденных документов.
К сожалению, участие в мировых инициативах позволяет производить оценку
поиска текстов лишь на языках, отличных от русского.
Российский семинар по оценке методов информационного поиска (РОМИП)
направлен на создание русскоязычных тестовых корпусов и использования их
для проведения независимой оценки альтернативных методов решения
различных задач информационного поиска.
Результаты тестирования предназначены для использования исключительно в
исследовательских целях и не могут быть использованы в
маркетинговых/коммерческих целях без согласия участника.
Цели и аудитория
Целью Российского семинара по Оценке Методов Информационного Поиска
является создание плацдарма для проведения независимой оценки методов
информационного поиска, ориентированных на работу с русскоязычной
информацией.
Дополнительными целями проекта являются:
консолидация сообщества российских исследователей и разработчиков,
занимающихся информационным поиском;
сотрудничество с зарубежными инициативами по тестированию систем
информационного поиска;
расширение контактов с зарубежными исследователями и разработчиками,
занимающимися многоязыковым информационным поиском;
привлечение широкого внимания к проблемам и перспективам информационного
поиска и интенсификация исследований в этой области в России;
создание предпосылок и стимулов для дальнейшего развития
участвующих систем с целью совершенствования качества поиска.
К участию приглашаются все заинтересованные лица - как создатели поисковых
систем, так и исследователи, занимающиеся проблемами информационного
поиска.
Важные даты (Приблизительный график)
Приём заявок на участие: до 31 марта
Распространение заданий: до 7 апреля
Предоставление результатов прогонов: до 2 июня
Результаты оценки: 18 августа
Тексты докладов: 1 октября
Очная встреча: 29-31 октября
Процедура и условия участия
Все участники подписывают лицензионное соглашение об использовании данных
- для исследовательских целей в рамках проекта РОМИП.
Участник, получив набор данных и заданий, в оговорённые сроки предоставляет
результат прогона(ов) системы для их независимой оценки, которая проводится
с соблюдением анонимности источника результата. Поощряется также и
решение модифицированных задач на основе используемых наборов данных.
От участников также ожидается представление статьи с описанием общих
принципов использованного подхода и полученных результатов.
Статьи участников будут представлены на очном семинаре и опубликованы.
В 2003 году предполагается совмещение этого семинара с российской
конференцией по электронным библиотекам (RCDL'2003), которая пройдёт в
Санкт-Петербурге 29-31 октября.
Предполагается, что затраты на распространение тестовых корпусов и оценку
результатов будут совместно компенсироваться (в виде прямых финансовых
вкладов или предоставлении ресурсов для проведения оценки) участниками.
Правила проведения также вырабатываются совместно.
Дорожки
В 2003 году семинар будет состоять из 2-х дорожек, посвящённым
оценке методов решения следующих задач информационного поиска в контексте Веб:
классическая задача поиска по запросу (ad-hoc track) по Веб коллекции
с оценкой методом "общей кучи" (pooling)
тематическая классификация Веб-сайтов
Участники могут принимать участие как в одной, так и в обоих дорожках.
Подробные описания дорожек и правила проведения опубликованы на сайте
семинара.
Наборы данных
Основой набора данных является коллекция Веб страниц из домена narod.ru
объёмом порядка 7 Гб.
Более детальная информация о принципах отбора данных и заданий, а также о
форматах доступна на сайте семинара.
Оргкомитет (возможно расширение состава)
Павел Браславский (ИМаш УрО РАН, Екатеринбург)
Максим Губин (Кодекс, Санкт-Петербург )
Борис Добров (УИС РОССИЯ, Москва )
Владими Добрынин (ПМПУ СПбГУ, Санкт-Петербург)
Игорь Кураленок (ПМПУ СПбГУ, Санкт-Петербург)
Игорь Некрестьянов (мат.мех. СПбГУ, Санкт-Петербург)
Екатерина Павлова (НИИИТ. СПбГУ, Санкт-Петербург)
Илья Сегалович (Яндекс, Москва)
Правила подачи заявки
Заявка на участие в семинаре РОМИП должна содержать следующую информацию:
краткая (в 1-2 абзаца) презентация системы
(название, ссылка в web, краткое описание принципов используемого подхода)
контактная информация
(организация, email контактного лица)
список дорожек, в которых вы заинтересованы принять участие
Подробная информация о РОМИП может быть найдена на сайте http://romip.narod.ru
Основным средством общения и координации в РОМИП является электронная почта.
Мы приглашаем желающих подписаться на рассылку РОМИП
.
