|  |
Дорожка поиска по документу-образцуЗадачаДорожка посвящена оценке методов решения задачи поиска по запросу с использованием обратной связи от пользователя. В рамках этой же дорожки проводится косвенное тестирование эффективности методов поиска по документу-образцу. Общая процедура проведения дорожки стандартна. КоллекцияИсходным набором данных является объединение коллекций Narod.ru и коллекции нормативно-правовых документов 2004.В набор включаются документы из всех архивов - narod.*, legal.* и *_training.*. Формулировка задания для участвующей системыКаждой системе предоставляется объединенная коллекция и набор заданий (всего 13119) вида запрос и один релевантный документ. Задания строятся на основе того набора заросов, который оценивалался в РОМИП'2004-РОМИП'2006. Релевантным документом для каждого запроса считается документ, оцененный, как строго релевантный, то есть все ассессоры признали его таковым. Ответ системы, как и для других дорожек по поиску, есть упорядоченный список до 100 документов. Методолгия оценки
Форматы данных |
