Дорожка вопросно-ответного поиска
РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка вопросно-ответного поиска

Задача

Эта дорожка посвящена задачам, связанным с поиском ответов на поставленный вопрос.

Коллекция

Исходный набор данных коллекция Narod.ru.
Поиск необходимо производить по документам из всех архивов - narod.* и narod_training.*.

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий.

Набор заданий отбирается случайным образом из множества вопросов предложенных участниками и оргкомитетом. Вопросы могут быть следующих типов:

  • Вопросы к определению, к подлежащему:
    • Что такое? (Что такое анафора?)
    • Кто такой? (Кто такой Набоков?)
    • Кто сделал что-то? (Кто изобрел велосипед?)
    • Какой (-ая,-ое...)/какова? (Какая страна приняла участие в Олимпиаде?)
  • Вопросы к прямому дополнению:
    • Что сделал кто-то? (Что изобрел Томсон?)
  • Вопросы к обстоятельству:
    • Сколько? (Сколько человек живет в Москве?)
    • Какую длину/площадь/высоту?
    • Какова длина/площадь/высота...? (Какова площадь помещений, построенных в прошлом году?)
    • Когда? В какой день? В каком месяце? В каком году? Как долго?
      (В каком году (месяце,...) случился пожар?, Как долго проходили проверки?)
    • Куда? В какую страну/город? На какой континент?
      (Куда был отправлен груз 18 мая?)
    • Откуда? Из какой страны/города? (Из какой страны прибыл груз 18 мая?)
    • Где? В какой стране/городе? На каком континенте? С какого континента?
      (В каком городе находится Эйфелева башня?)
    • Почему? (Почему случился пожар?)
    • Как? (Как убрать пятно с ковра?)
  • Вопросы к косвенному дополнению:
    • Предлог + <что,в чем, на чем, из чего> (Из чего состоит вода?)
    • Какую (-ого,-ое...) + слово с известной семантикой?
    • Какую (-ого,-ое...)/какова + слово с неизвестной семантикой?
  • Вопрос к прямому дополнению:
    • Какой (-ие,-ую...)? (Какую страну посетил Путин?)

Задания выдаются участникам на очень короткое время (1 день). Возможно, on-line использование интерфейса участника для выполнение запросов.

Ответом системы на каждый вопрос является упорядоченный список "ответов" длиной не более 10. Для каждого ответа указывается ссылка на документ первоисточник и фрагмент текста, содержащий не более 300 символов без использования html разметки, в котором, по мнению системы-участника, находится ответ на поставленный вопрос.

Коллекция заданий

Коллекция заданий строиться в четыре этапа согласно следующему графику:

  • до 23 мая каждый из участников предлагает свой вариант определения, что такое "правильный" вопрос с 5-10 примерами
  • к 27 мая формируется итоговое определение и общий список вопросов
  • к 10 июня участники предоставляют 200 вопросов в оргомитет. Из каждой группы запросов отбраковывается по 50 запросов так, что от каждого участника берется одинаковое количество вопросов.
  • 15 июня - окончательный набор запросов (всего 500)

Методология оценки

  • Количество оцениваемых заданий: 500
  • Задание асессору:
    Ассессор просматривает аннотации с ответами и cоответсвующий документ, отвечая на следующий ряд вопросов:
    • есть ли ответ на поставленный вопрос в аннотации?
    • кажется ли по аннотации, что ответ содержиться в целом документе?
    • есть ли ответ в документе?
    Ассесор формулирует "правильный" ответ ("ключевой признак").
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50
  • шкала оценки релевантности:
    • ответ есть в аннотации/возможно ответ есть в документе/в документе есть ответ/ответа нет/невозможно оценить
  • Стандартные метрики:
    • точность
    • полнота

Форматы данных

стоимость написания сценария рекламного аудиоролика