РОМИП
 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Приглашение к Участию в Российском семинаре по Оценке Методов Информационного Поиска

Март 2003 - Октябрь 2003
http://romip.ru
В последние годы был достигнут значительный прогресс как в теории информационного поиска, так и в создании промышленных информационно-поисковых систем.
Непрерывная эволюция информационного пространства и применение методов поиска в новых контекстах определяет актуальность дальнейших исследований в области теории информационного поиска.
Впечатляющие темпы развития во многом обусловлены бурным развитием Интернет и растущим интересом к предоставлению поисковой функциональности в в прикладных информационных системах.
Важной движущей силой является оценка, предоставляющая возможность сравнивать эффективность альтернативных подходов.
В мире в рамках нескольких инициатив проводится независимая оценка методов поиска (TREC, SUMMAC, CLEF). В результате этой работы накоплен объёмный материал, состоящий как из тестовых наборов данных и запросов, так и из эталонных суждений о релевантности для найденных документов.
К сожалению, участие в мировых инициативах позволяет производить оценку поиска текстов лишь на языках, отличных от русского.
Российский семинар по оценке методов информационного поиска (РОМИП) направлен на создание русскоязычных тестовых корпусов и использования их для проведения независимой оценки альтернативных методов решения различных задач информационного поиска.
Результаты тестирования предназначены для использования исключительно в исследовательских целях и не могут быть использованы в маркетинговых/коммерческих целях без согласия участника.

Цели и аудитория

Целью Российского семинара по Оценке Методов Информационного Поиска является создание плацдарма для проведения независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией.
Дополнительными целями проекта являются:
  • консолидация сообщества российских исследователей и разработчиков, занимающихся информационным поиском;
  • сотрудничество с зарубежными инициативами по тестированию систем информационного поиска;
  • расширение контактов с зарубежными исследователями и разработчиками, занимающимися многоязычным информационным поиском;
  • привлечение широкого внимания к проблемам и перспективам информационного поиска и интенсификация исследований в этой области в России;
  • создание предпосылок и стимулов для дальнейшего развития участвующих систем с целью совершенствования качества поиска.
К участию приглашаются все заинтересованные лица - как создатели поисковых систем, так и исследователи, занимающиеся проблемами информационного поиска.

Важные даты (Приблизительный график)

Приём заявок на участие: до 31 марта
Распространение заданий: до 7 апреля
Предоставление результатов прогонов: до 2 июня
Результаты оценки: 18 августа
Тексты докладов: 1 октября
Очная встреча: 29-31 октября

Процедура и условия участия

Все участники подписывают лицензионное соглашение об использовании данных - для исследовательских целей в рамках проекта РОМИП.
Участник, получив набор данных и заданий, в оговорённые сроки предоставляет результат прогона(ов) системы для их независимой оценки, которая проводится с соблюдением анонимности источника результата. Поощряется также и решение модифицированных задач на основе используемых наборов данных.
От участников также ожидается представление статьи с описанием общих принципов использованного подхода и полученных результатов.
Статьи участников будут представлены на очном семинаре и опубликованы. В 2003 году предполагается совмещение этого семинара с российской конференцией по электронным библиотекам (RCDL'2003), которая пройдёт в Санкт-Петербурге 29-31 октября.
Предполагается, что затраты на распространение тестовых корпусов и оценку результатов будут совместно компенсироваться (в виде прямых финансовых вкладов или предоставлении ресурсов для проведения оценки) участниками.
Правила проведения также вырабатываются совместно.

Дорожки

В 2003 году семинар будет состоять из 2-х дорожек, посвящённым оценке методов решения следующих задач информационного поиска в контексте Веб:
  • классическая задача поиска по запросу (ad-hoc track) по Веб коллекции с оценкой методом "общей кучи" (pooling)
  • тематическая классификация Веб-сайтов
Участники могут принимать участие как в одной, так и в обоих дорожках.
Подробные описания дорожек и правила проведения опубликованы на сайте семинара.

Наборы данных

Основой набора данных является коллекция Веб страниц из домена Narod.ru объёмом порядка 7 Гб.
Более детальная информация о принципах отбора данных и заданий, а также о форматах доступна на сайте семинара.

Оргкомитет (возможно расширение состава)

  • Павел Браславский (ИМаш УрО РАН, Екатеринбург)
  • Максим Губин (Кодекс, Санкт-Петербург )
  • Борис Добров (УИС РОССИЯ, Москва )
  • Владими Добрынин (ПМПУ СПбГУ, Санкт-Петербург)
  • Игорь Кураленок (ПМПУ СПбГУ, Санкт-Петербург)
  • Игорь Некрестьянов (мат.мех. СПбГУ, Санкт-Петербург)
  • Екатерина Павлова (НИИИТ. СПбГУ, Санкт-Петербург)
  • Илья Сегалович (Яндекс, Москва)

Правила подачи заявки

Заявка на участие в семинаре РОМИП должна содержать следующую информацию:
  • краткая (в 1-2 абзаца) презентация системы (название, ссылка в web, краткое описание принципов используемого подхода)
  • контактная информация (организация, email контактного лица)
  • список дорожек, в которых вы заинтересованы принять участие

Заявки принимаются по адресу: romip[AT]romip.ru

Дополнительная информация

Основным средством общения и координации в РОМИП является электронная почта.
Мы приглашаем желающих подписаться на рассылку РОМИП.