Дорожка поиска фактов по Веб коллекции
РОМИП

 Новости 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Дорожки 
 Участники 
 Тестовые коллекции 
 История 
 Публикации 
 Народ 
 FAQ 
 Форум 

Switch to EnglishSwitch to English

Дорожка поиска фактов по Веб коллекции

Эта дорожка посвящена задачам, связанным с поиском фактов в текстах (например, вопросно-ответный (question answering) поиск).

В 2004 году рассматривается задача поиска фактов связанных с конкретной личностью.

Сводная информация

  • Набор данных: коллекция narod.ru от РОМИП'2003 (7+ Гб).
    (в набор включаются файлы вида narod.*, так и narod_training.*)
  • Задания: примерно 5000 персон и краткая информация о них
    (для некоторых из них с указанием псевдонимов)
  • Вид ответа системы: для каждой персоны необходимо привести набор фактов связанных с этой персоной. Факт - это фрагмент текста, описывающий событие связанное с этой персоной. Разрешено два альтернативных видов ответов - до 150 или до 300 символов длинной.
  • Метод оценки: видимо метод "общего котла" (pooling) (глубина пула и другие параметры еще обсуждаются)
  • Шкала оценки: да/нет/невозможно оценить (обсуждается расширение шкалы)
  • Количество оцениваемых заданий: ориентировочно 50
  • Длина возвращаемых системой ответов на задания: неограничено
  • Стандартные метрики:
    • точность
    • полнота
  • Форматы: