Дорожка поиска по документу-образцу
РОМИП

 Новости 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Дорожки 
 Участники 
 Тестовые коллекции 
 История 
 Публикации 
 Народ 
 FAQ 
 Форум 

Switch to EnglishSwitch to English

Дорожка поиска по документу-образцу

Постановка задачи

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска с указанием одного релевантного документа.

Коллекция

Исходным набором данных является коллекция Narod.ru.

Формулировка задания для участвующей системы

Каждой системе предоставляется набор заданий вида запрос и один релевантный документ. Задания строятся на основе того набора заросов, который оценивалался в РОМИП'2003 и РОМИП'2004. Релевантным документом для каждого запроса считаеся документ, оцененный, как срого релевантный, то есть все ассессоры признали его таковым.
Ответ системы, как и для дорожки Веб-поиска, есть упорядоченный список до 100 документов.

Что будет оцениваться

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному(фразовому) запросу с расширенным описанием информационной потребности. Соответсвующий запросу документ-образец ассессор не увидит.
  • метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
    и да/нет/невозможно оценить
  • официальные метрики
    • точность
    • полнота
    • 11-точечный график TREC

Форматы данных