Дорожка поиска фактов по новостной коллекции
РОМИП
 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска фактов по новостной коллекции

Эта дорожка посвящена задачам, связанным с поиском фактов в текстах (например, вопросно-ответный (question answering) поиск).

В 2005 году рассматриваются следующие задачи:
  • выявления имен собственных
  • выявление именованных объектов заданных типов
  • выявление фактов заданных типов

Правила

  1. Выделить все именованные сущности
    Для каждого сообщения система должна построить список именованных сущностей.
    Для каждой сущности должна быть указана следующая информация:
    • перечень ссылок на использование сущности в этом сообщении (смещение и длина в байтах)
    • (опционально) Указать класс сущности - персона/организация/географический объект/прочее
  2. Выделить факты следующих типов
    • Кто работал\работает в данной организации?
    • Где работал\работает данный человек?
    • Кто владеет или владел данной организацией?
    • Какими предприятиями владеет или владела данная организация/персона?
    Примечание: К числу владельцев также относятся все покупатели и продавцы компании, а также все ее акционеры (держатели акций, продавцы и покупатели).

    Выделение фактов происходит из всей коллекции без учета референций для всех именованных объектов, выделенных участником.

    Описание факта в ответе должно содержать следующую информацию:
    • тип факта
    • ссылка на фрагмент текста, содержащий описание факта (смещение, длина (не более 500 байт))
    • два стандартизированных имени фигурантов для этого факта
    • ссылка на сущность в тексте (смещение относительно начала фрагмента)
Допускается выполнение только первого задания.

Правила оценки

Планируется проведение оценки в 2 этапа:
  1. Проверка выделенных имен собственных
    Случайным образом отбирается некоторое подмножество сообщений коллекции и оцениваются все имена собственные, выделенные в этих документах.

    Задание асессору: Является ли данная строка названием имени собственного в контексте данного фрагмента текста? Если да, то является ли она названием организации, именем человека или географическим объектом?
    Варианты ответа: не имя собственное, организация, персона, географический объект, другое имя собственное

  2. Проверка фактов Отбирается некоторое число имен собственных (процедура отбора еще не определена, но список будет согласован с участниками) и оцениваются все факты выделенные для этих объектов.

    Задание асессору (полная инструкция): Содержит ли данный фрагмент текста описание факта, связанного со следующими фигурантами (A, B)? Если да, то к какому типу фактов он относится?
    Варианты ответа: не является фактом, покупка, продажа, владение, принадлежность, другое

Сводная информация