Целью работы является выявление множества документов, которые содержат полезную (релевантную) информацию при поиске по заданному запросу.

Каждое задание состоит из:

• Формулировки поискового запроса
• Поясняющего комментария для этого запроса (его может и не быть)
• Списка документов, которые необходимо оценить на соответствие запросу

Технически задание распространяется в виде двух частей:

• Файла описания задания (с расширением .rtsk)
• Архива с набором документов для оценки (с расширением .bz2)

Результаты выполнения задания будут сохранены в файле с расширением .res.

Общие правила

Пожалуйста, придерживайтесь следующих правил при проведении оценки:

• Для работы с системой оценки асессор должен зарегистрироваться и всегда использовать одно и то же имя пользователя. Не допускается использование одного и того же имени разными людьми.
• Задания следует выполнять последовательно. Параллельная работа над несколькими заданиями не желательна.
• Рекомендуется выполнять задания в том порядке, в каком система вам их показывает при выборе нового задания.
• Перед началом оценки и после ее заврешения оценки вам необходимо ответить на вопросы анкеты. Поэтому необходимо завершать оценку задания ереходом по ссылке "Завершить сеанс оценки", а не путем закрытия окна броузера.
• Решение о степени соответствия (релевантности) документа запросу принимается Вами самостоятельно в соответствии с Вашим мнением. Однако, Вас могут попросить мотивировать ваш выбор.
• Перед началом оценки попробуйте представить, что является целью поиска по такому запросу и какая информация является искомой - конкретный факт или документ, информация на тему.
Пожалуйста, оценивайте документы внимательно. Если в результате проверки будет выявлено низкое качество ваших оценок, то ваш труд может быть не зачтен.

Задачей асессора является оценить соответствие документов заданной информационной потребности. В этом документе описаны некоторые общие принципы, направленные на получение более адекватных и согласованных результатов оценки.

Шкала оценки

Для оценки документов используется следующая шкала:

• Соответствующий (релевантный/витальный)
  Документ, который позволяет составить относительно полное представление о предмете или содержит ответ на поставленную поисковую задачу. Релевантный документ обязан содержать информацию, отвечающую на запрос в доступной форме, и быть Вам понятен. Еще одним критерием релевантного документа является его авторитетность, релевантными документами признаются лишь те, чья авторитетность не вызывает у Вас сомнения. Документы, ссылающиеся на искомую информацию, релевантными не являются.
• Скорее соответствующий (релевантный+)
  Документ, отвечающий теме запроса, но не содержащий полного ответа на поставленную поисковую задачу. Так же к этому классу относятся документы, содержащие полный ответ, но по каким либо причинам непонятные (не путать с нечитаемыми) или не внушающие доверия. Если документ не содержит необходимой информации, но ссылается на ресурс, соответствующий запросу, то он тоже считается относящимся к описываемому классу при условии легкости нахождения этой ссылки.
• Возможно соответствующий (релевантный-)
  Документ, возможно не отвечающий теме запроса, но содержащий отдельные частицы информации, которые могли бы помочь в решении задачи. Не отвечающий запросу документ, содержащий полезные ссылки, также относится к этому классу.
• Не соответствующий (нерелевантный)
  Документ, не содержащий полезной информации для выполнения поисковой задачи и не содержащий полезных ссылок.
• Документ не может быть оценен
  Документ не читается (представлен в некорректной кодировке или написан на непонятном языке), вызывает технические проблемы в браузере или не может быть оценен по каким-либо другим объективным причинам.

Примеры

Запрос "ресторан Пицца-Хат":

Страница, на которой упоминается название ресторана и нет никакой информации о нем, не может считаться релевантной. Если на странице приводится несколько фактов связанных с рестораном, то возможно это "релевантный-". <Релевантным> документом является например страница с подробной информацией об этой сети ресторанов, ее ассортименте, т.п. Описание личных впечатлений от этих ресторанов или контактная информация скорее всего заслуживают оценки <релевантный+> или <релевантный->.

Запрос "домашний кинотеатр":

Представьте, что вы хотите разобраться, из чего состоит домашний кинотеатр, как их сравнивать или где купить. Наиболее полезными документами являются документы, содержащие информацию полезную при ответе на эти вопросы. Обзор, с описанием принципов создания домашних кинотеатров и выбора их компонент - безусловно <релевантен>. Описание характеристик конкретной модели кинотеатра - возможно релевантно или скорее релевантно в зависимости от его детальности и полезности. Однако, документ с описанием технических характеристик конкретного телевизора вне контекста домашнего кинотеатра не является релевантным.

Запрос "старинные русские праздники":

Релевантным является документ, который подробно описывает один или несколько праздников или содержит их календарь. Если названия праздников лишь упоминаются и не являются предметом обсуждения, то документ не является релевантным.

Запрос "как доехать до птичьего рынка":

Релевантными являются документы содержащие инструкции, как добраться до птичьего рынка. Частично релевантными - документы с информацией о его расположении. Информация о рынке, впечатления от поездок на него или, например, описание ассортимента не делает документ релевантным.