Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Общая процедура проведения дорожки стандартна.

Коллекция

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем Рунет (Яндекс и Рамблер). Всего 24250, включая запросы, использованные в предыдущих циклах РОМИП.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методология оценки

• постановка задания ассессору:
  Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50
• шкала оценки релевантности:
  
  • точно/возможно/вероятно/нет/невозможно оценить
  • да/нет/невозможно оценить
• официальные метрики:
  
  • точность
  • полнота
  • 11-точечный график TREC

Форматы данных

• коллекции
• заданий
• ответов систем