Дорожка поиска по коллекции нормативных документов
РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по коллекции нормативных документов

Дорожка посвящена оценке методов решения традиционной задаче поиска по запросу в НЕ Веб коллекции. В РОМИП'2004 использовалась коллекция нормативных документов, предоставленная компанией Кодекс.

Общая процедура проведения дорожки стандартна.

Сводная информация

  • Набор данных: коллекция ROMIP-2004-Legal (1.5 Гб).
    (в набор включаются файлы вида legal.*, так и legal_training.*)
  • Задания: выборка из журналов крупных поисковых систем работающих с подобной информацией (Кодекс и Парк.Ру)
    (всего примерно 13000)
  • Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • Шкала оценки релевантности: точно/вероятно/возможно/нет/невозможно оценить
  • Количество оцениваемых заданий: 50 "понятия" + 41 "документы"
  • Длина возвращаемых системой ответов на задания: до 100 ссылок
  • Стандартные метрики:
    • точность
    • полнота
    • 11-точечный график TREC
  • Форматы: