 |  |
Дорожка поиска по Веб коллекции
Это повторение дорожки РОМИП'2003.Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по Веб. Для этого используется набор данных имитирующий Веб и Веб запросы.
Общая процедура проведения дорожки стандартна.
Сводная информация
- Набор данных:
коллекция narod.ru от РОМИП'2003 (7+ Гб).
(в набор включаются файлы вида narod.*, так и narod_training.*) - Задания: выборка из журналов крупных поисковых систем Рунет (Яндекс и Рамблер)
(всего 24250, набор включает запросы использованные в РОМИП'2003) - Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
- Шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
и да/нет/невозможно оценить - Количество оцениваемых заданий: 48 новых и 19 из РОМИП'2003
- Длина возвращаемых системой ответов на задания: до 100 ссылок
- Стандартные метрики:
- точность
- полнота
- 11-точечный график TREC
- Форматы:
- данных
- заданий
- результатов
- экспертных оценок