РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по смешанной коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по разнородной коллекции документов.

Общая процедура проведения дорожки стандартна.

Коллекция

Исходный набор данных - объединение коллекций документов Narod.ru и коллекции нормативных-документов.

В набор включаются документы из всех архивов - narod.*, legal.* и *_training.*.

Формулировка задания для участвующей системы

Cистема-участник получает объединение коллекций Narod.ru и Legal и набор заданий.
Набор заданий представляет собой объединение запросов из дорожек по Веб поиску и поиску нормативных документов. Таким образом, всего около 37100 запросов.
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методология оценки

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50
  • шкала оценки релевантности:
    • точно/возможно/вероятно/нет/невозможно оценить
    • и да/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC

Результаты оценки

  • Список оценивавшихся заданий
  • Таблицы релевантности
  • Сводные результаты систем

Форматы данных

чудо маска для роста волос