Семинар РОМИП
В рамках инициативы по проведению семинара РОМИП/RIRES предлагается
использовать циклический подход. В рамках каждого (годового) цикла из
множества реализуемых проектов по созданию тестовых наборов выбираются один
или несколько наборов, которые наиболее интересны участникам. Эти
отобранные проекты реализуются, а по завершении этапа с учётом накопленного
опыта и текущих приоритетов участников выбираются новые проекты.
Структурно семинар представляет из себя набор дорожек (track) --
секций, посвящённых конкретным проектам (с фиксированной задачей и правилами
оценки).
Важнейшим принципом РОМИП является совместное с участниками определение
задач для оценки и формирование правил проведения оценки. Оргкомитет
лишь координирует проведение секций.
Другим основополагающим принципом РОМИП является использование результатов
оценки
исключительно в исследовательских целях и запрещение их использования в
маркетинговых/коммерческих целях без согласия участника.
Структура годового цикла
- Подготовительный этап.
На этом этапе определяется список участников, уточняется список
рассматриваемых задач и методология создания тестовых коллекций и оценки.
Оговариваются форматы и способы обмена данными, официальные метрики для
оценки. Фиксируется график проведения.
Для того чтобы участвовать в семинаре участник должен
подать заявку
к рассмотрению оргкомитетом, участник платит вступительный взнос
(компенсирующий начальные затраты на создание и распространение наборов
данных), а также подписывает необходимые соглашения (лицензии).
Все участники получают псевдонимы (которые не будут
ассоциироваться с информацией о конкретных участниках - например, цвета),
которые будут использоваться для анонимной оценки и публикации результатов.
Информацию о соответствии между псевдонимом и участником будет известна
лишь самому участнику и ограниченному подмножеству оргкомитета.
- Подготовка тестовых наборов.
Оргкомитет формирует тестовые наборы данных, заданий и распространяет
их
участникам. В зависимости от происхождения данных может требоваться
оформление соглашения о нераспространении и ограничении возможностей
использования набора участником.
- Проведение экспериментальных прогонов своей системы.
Участник самостоятельно и на своём оборудовании выполняет поисковые
задания. При предоставлении результатов (полученных ответов) оргкомитету
участник должен использовать полученный псевдоним (например, псевдонимом
может быть является имя/пароль для ftp-сервера) и соблюдать оговорённые
сроки и формат представления результатов.
- Оценка полученных ответов.
Оргкомитет организует проведение оценки (в большинстве случаев
по-видимому с использованием независимых экспертов) полученных ответов.
Конкретная методология оценки зависит от рассматриваемой задачи и
определяется на подготовительном этапе. Информация о всех оценках
будет доступна всем участникам, но эта информация будет использовать
псевдонимы для ссылок на участников
|
