Дорожка поиска по Веб коллекции
РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по Веб коллекции

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.

Общая процедура проведения дорожки стандартна.

Коллекция

Исходный набор данных коллекция Narod.ru.
Поиск необходимо производить по документам из всех архивов - narod.* и narod_training.*.

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем Рунет (Яндекс и Рамблер). Всего 24250, включая запросы, использованные в предыдущих циклах РОМИП.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методолгия оценки

  • постановка задания ассессору (полная инструкция):
    Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50
  • шкала оценки релевантности:
    • точно/возможно/вероятно/нет/невозможно оценить
    • да/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC

Результаты оценки

Подробное описание методики оценки и официальных метрик можно найти в трудах семинара за 2005 год.

Форматы данных