|  |
Дорожка поиска фактов по Веб коллекции
Эта дорожка посвящена задачам, связанным с поиском фактов в текстах
(например, вопросно-ответный (question answering) поиск).
В 2004 году рассматривается задача поиска фактов связанных с
конкретной личностью.
Сводная информация
- Набор данных:
коллекция narod.ru от РОМИП'2003 (7+ Гб).
(в набор включаются файлы вида narod.*,
так и narod_training.*)
- Задания: примерно 5000 персон и краткая информация о них
(для некоторых из них с указанием псевдонимов)
- Вид ответа системы: для каждой персоны необходимо привести набор фактов
связанных с этой персоной. Факт - это фрагмент текста, описывающий
событие связанное с этой персоной. Разрешено два альтернативных
видов ответов - до 150 или до 300 символов длинной.
- Метод оценки: видимо метод "общего котла" (pooling) (глубина пула и
другие параметры еще обсуждаются)
- Шкала оценки: да/нет/невозможно оценить (обсуждается расширение шкалы)
- Количество оцениваемых заданий: ориентировочно 50
- Длина возвращаемых системой ответов на задания: неограничено
- Стандартные метрики:
- Форматы:
|
