Дорожка поиска по Веб коллекции
РОМИП
 Новости 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Дорожки 
 Участники 
 Тестовые коллекции 
 История 
 Публикации 
 Народ 
 FAQ 
 Форум 

Switch to EnglishSwitch to English

Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Коллекция

Исходный набор данных коллекция Narod.ru.

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем Рунет (Яндекс и Рамблер)
(всего 24250, набор включает запросы, использованные в предыдущих циклах РОМИП).
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Что будет оцениваться

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному запросу или с учетом,или без учета расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) (глубина пула 50)
  • шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
    и да/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC

Форматы данных