Дорожка (track) - это секция семинара, посвящённая определённой
задаче информационного поиска, с определёнными правилами проведения оценки.
Выбор списка дорожек для семинара происходит следующим образом:
Формируется множество возможных реализуемых дорожек.
По каждой дорожке производится открытое голосование
Целью голосования является определить заинтересованность каждого из
участников в каждой из возможных дорожек (можно заявляться на участие в
нескольких дорожках).
Выбираются наиболее популярные дорожки
Отбор основан на максимизации выгоды (интереса участников)
при условии ограниченности доступных ресурсов
(как временных, так и финансовых на проведение оценки).
Множество возможных дорожек открыто и каждый заинтересованный
участник может предлагать свои варианты на общее обсуждение
в .
Описание дорожки включает в себя ответы на следующие вопросы:
Для оценки методов решения какой задачи дорожка предназначена?
Какой набор данных предполагается использовать?
(с указанием характеристик - объёма, легальности, разнородности,
...)
Какие будут задания? Сколько? Как они будут формироваться?
(из логов, искусственно созданные, ...)
В каком виде предполагается получать ответы от систем?
Как будет организована процедура оценки результатов?
Сколько ручного труда необходимо и каковы предполагаемые затраты на
проведение оценки?
Какие меры могут быть использованы для оценки
Что мотивирует "осмысленность" получаемых цифр и основанных на них
выводов о превосходстве тех или иных методов? (Методологические аспекты)
Например:
Стабильность результатов относительно количества заданий
Стабильность относительно процедуры оценки
(порядка оценки или других факторов связанных с экспертами)
Защищённость от фальсификации результатов
К обсуждению принимаются дорожки для которых описана не вся требуемая
информация, но для того чтобы дорожка получила статус "реализуемой"
необходимо иметь полное описание и обоснование доступности необходимых
ресурсов (данных, экспертного времени, т.п.)
