Дорожка поиска по коллекции нормативных документов

Общая процедура проведения дорожки стандартна.

Сводная информация

• Набор данных: коллекция ROMIP-2004-Legal (1.5 Гб).
  (в набор включаются файлы вида legal.*, так и legal_training.*)
  
• Задания: выборка из журналов крупных поисковых систем работающих с подобной информацией (Кодекс и Парк.Ру)
  (всего примерно 13000)
• Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
• Шкала оценки релевантности: точно/вероятно/возможно/нет/невозможно оценить
• Количество оцениваемых заданий: 50 "понятия" + 41 "документы"
• Длина возвращаемых системой ответов на задания: до 100 ссылок
• Стандартные метрики:
  • точность
  • полнота
  • 11-точечный график TREC
• Форматы:
  • данных
  • заданий
  • результатов
  • экспертных оценок