Целью работы является выявление множества Веб сайтов, которые содержат информацию на заданную тему.

Каждое задание состоит из:

• Названия темы
• Поясняющего комментария
• Списка сайтов

Технически задание распространяется в виде двух частей:

• Файла описания задания (с расширением .rtsk)
• Архива с набором документов для оценки (с расширением .bz2)

Результаты выполнения задания будут сохранены в файле с расширением .res.

Общие правила

Пожалуйста, придерживайтесь следующих правил при проведении оценки:

• Для работы с системой оценки асессор должен зарегистрироваться и всегда использовать одно и то же имя пользователя. Не допускается использование одного и того же имени разными людьми.
• Задания следует выполнять последовательно. Параллельная работа над несколькими заданиями не желательна.
• Рекомендуется выполнять задания в том порядке, в каком система вам их показывает при выборе нового задания.
• Решение о степени соответствия сайта теме принимается Вами самостоятельно в соответствии с Вашим мнением. Однако, Вас могут попросить мотивировать ваш выбор.
• Для принятия решения не обязательно просматривать все страницы, которые к нему относятся. Однако, желательно ознакомится с их репрезентативным подмножеством, чтобы не пропустить частично релевантные сайты.
• Пожалуйста, оценивайте сайты внимательно. Если в результате проверки будет выявлено низкое качество ваших оценок, то ваш труд может быть не зачтен.

Шкала оценки

Представьте, что вам необходимо составить подборку Веб сайтов по заданной теме, выбирая их из некоторого множества кандидатов. Обратите внимание, что для ряда других тем есть отдельные разделы.

Для оценки сайтов используется следующая шкала:

• Соответствующий (релевантный/витальный)
  Сайт безусловно содержит много разносторонней информации по этой теме. Это может быть небольшой/средний сайт практически полностью посвященный заданной теме или большой сайт с большим разделом посвященным ей.
• Скорее соответствующий (релевантный +) Сайт содержит много полезной информации по заданной теме, но это не является главной темой на сайте или затронута только специфическое подмножество вопросов. Тем не менее сайт кажется полезным для включения в подборку ресурсов по такой теме.
• Возможно соответствующий (релевантный -)
  На сайте есть интересная информация по заданной теме, но она не претендует на полноту или широту охвата.
• Не соответствующий (нерелевантный)
  Ничего полезного на сайте нет или полезной информации крайне мало. Сюда в частности относятся сайты, на которых заданная тема лишь косвенно упоминается.
• Документ не может быть оценен
  Тексты на сайте не читаются (представлен в некорректной кодировке или написан на непонятном языке), вызывает технические проблемы в браузере или не может быть оценен по каким-либо другим объективным причинам.

ВАЖНО: Обратите внимание, что Веб сайт не обязательно должен относится только к одной категории. Ситуация, когда представленная информация находится на стыке нескольких тем, вполне реальна, и в этом случае сайт может быть отнесен к нескольким категориям.