Дорожка поиска по коллекции нормативных документов

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции.

Общая процедура проведения дорожки стандартна.

Коллекция

Поиск необходимо производить по документам из всех архивов - legal.* и legal_training.*.

Формулировка задания для участвующей системы

Система-участник получает коллекцию нормативных документов и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем, работающих с подобной информацией (Кодекс и Парк.Ру). Всего примерно 13000.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методолгия оценки

• постановка задания ассессору (полная инструкция):
  Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50
• шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
• официальные метрики:
  
  • точность
  • полнота
  • 11-точечный график TREC

Результаты оценки

• Список оценивавшихся заданий
• Таблицы релевантности
• Сводные результаты систем

Подробное описание методики оценки и официальных метрик можно найти в трудах семинара за 2005 год.

Форматы данных

• коллекции
• заданий
• ответов систем