Инструкция для асессора

(дорожка по поиску)

Целью работы является выявление множества документов, которые содержат полезную (релевантную) информацию при поиске по заданному запросу.

Каждое задание состоит из:

Технически задание распространяется в виде двух частей:

Результаты выполнения задания будут сохранены в файле с расширением .res.

Общие правила

Пожалуйста, придерживайтесь следующих правил при проведении оценки:

Задачей асессора является оценить соответствие документов заданной информационной потребности. В этом документе описаны некоторые общие принципы, направленные на получение более адекватных и согласованных результатов оценки.

Шкала оценки

Для оценки документов используется следующая шкала:

Примеры

Запрос "ресторан Пицца-Хат":

Страница, на которой упоминается название ресторана и нет никакой информации о нем, не может считаться релевантной. Если на странице приводится несколько фактов связанных с рестораном, то возможно это "релевантный-". <Релевантным> документом является например страница с подробной информацией об этой сети ресторанов, ее ассортименте, т.п. Описание личных впечатлений от этих ресторанов или контактная информация скорее всего заслуживают оценки <релевантный+> или <релевантный->.

Запрос "домашний кинотеатр":

Представьте, что вы хотите разобраться, из чего состоит домашний кинотеатр, как их сравнивать или где купить. Наиболее полезными документами являются документы, содержащие информацию полезную при ответе на эти вопросы. Обзор, с описанием принципов создания домашних кинотеатров и выбора их компонент - безусловно <релевантен>. Описание характеристик конкретной модели кинотеатра - возможно релевантно или скорее релевантно в зависимости от его детальности и полезности. Однако, документ с описанием технических характеристик конкретного телевизора вне контекста домашнего кинотеатра не является релевантным.

Запрос "старинные русские праздники":

Релевантным является документ, который подробно описывает один или несколько праздников или содержит их календарь. Если названия праздников лишь упоминаются и не являются предметом обсуждения, то документ не является релевантным.

Запрос "как доехать до птичьего рынка":

Релевантными являются документы содержащие инструкции, как добраться до птичьего рынка. Частично релевантными - документы с информацией о его расположении. Информация о рынке, впечатления от поездок на него или, например, описание ассортимента не делает документ релевантным.

новоти женское бесплодие мед. справка