 |  |
Дорожка контекстно-зависимого аннотирования текстовых документов
Задача
Дорожка посвящена оценке методов решения задачи контекстно-зависимого аннотирования текстовых документов.
Общая процедура проведения дорожки стандартна.
Коллекция
Исходный набор данных - объединение коллекций коллекции Narod.ru и коллекции нормативных-документов.Аннотированию подлежат только документы, упоминающиеся в задании.
Формулировка задания для участвующей системы
Система-участник получает колекции Narod.ru и Legal и набор заданий вида "запрос и документ". Система должна предоставить аннотацию этого документа по этому запросу.
Набор заданий был создан на основе множества запросов, которые оценивались при проведении РОМИП'2003-РОМИП'2005.
Ответом системы для задания является фрагмент текста не более 300 символов без HTML разметки.
Методология оценки
Методология оценки находится в стадии обсуждения.- постановка задачи ассессору (полная инструкция):
Асессор оценивает релевантность документа запросу по аннтотации этого документа. Сам документ ассессор не увидит.
При оценке асессор будет видеть название (первые 100 символов) и аннотацию. Размер названия не учитывается в размере аннотации.
- шкала оценки
- точно/возможно/вероятно/нет/невозможно оценить
- да/нет/невозможно оценить
- официальные метрики:
мера согласованности оценок для полных документов, полученных в дорожке поиска по запросу, и для аннотаций, полученныхв данной дорожке