Дорожка поиска по коллекции нормативных документов

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции.

Общая процедура проведения дорожки стандартна.

Коллекция

В этом цикле в качестве исходного набора данных используется обновленная коллекция нормативных документов, предоставленная компанией Кодекс.

Формулировка задания для участвующей системы

Система-участник получает коллекцию нормативных документов и набор заданий. Набор заданий представляет из себя выборку запросов пользователей к правовому разделу портала www.kodeks.ru в течение двух первых недель декабря 2006 года. Общее число запросов - 14797.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методология оценки

• постановка задания ассессору:
  Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
• шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
• официальные метрики:
  
  • точность
  • полнота
  • 11-точечный график TREC
  • bpref

Форматы данных

• коллекции
• заданий
• ответов систем