Система-участник получает коллекции Km.ru и BY.web и
набор заданий.
Набор заданий состоит из 19627 запросов и был сформирован из:
всех запросов, которые оценивались в дорожке Веб поиска в предыдущих циклах РОМИП (2003-2006)
выборки запросов из лога Яндекс за 28 мая 2007 года (выбирались
запросы, по которым что-то нашлось; каждый сотый; профильтровано порно
фильтром). Дополнительно были удалены запросы, использующие специфику языка запросов
Яндекс.
выборки из 10000 запросов к поиску по KM.ru
Ответом системы на каждое задание является упорядоченный список
документов, длиной не более 100 ссылок.
Методология оценки
постановка задания ассессору:
Ассессор оценивает соответствие документов исходному
запросу на основе расширенного описания информационной потребности.
метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
