Дорожка вопросно-ответного поиска

Задача

Эта дорожка посвящена задачам, связанным с поиском ответов на поставленный вопрос.

Коллекция

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий.

Набор заданий отбирается случайным образом из множества вопросов предложенных участниками и оргкомитетом. Вопросы могут быть следующих типов:

• Вопросы к определению, к подлежащему:
  
  • Что такое? (Что такое анафора?)
  • Кто такой? (Кто такой Набоков?)
  • Кто сделал что-то? (Кто изобрел велосипед?)
  • Какой (-ая,-ое...)/какова? (Какая страна приняла участие в Олимпиаде?)
• Вопросы к прямому дополнению:
  
  • Что сделал кто-то? (Что изобрел Томсон?)
• Вопросы к обстоятельству:
  
  • Сколько? (Сколько человек живет в Москве?)
  • Какую длину/площадь/высоту?
  • Какова длина/площадь/высота...? (Какова площадь помещений, построенных в прошлом году?)
  • Когда? В какой день? В каком месяце? В каком году? Как долго?
    (В каком году (месяце,...) случился пожар?, Как долго проходили проверки?)
  • Куда? В какую страну/город? На какой континент?
    (Куда был отправлен груз 18 мая?)
  • Откуда? Из какой страны/города? (Из какой страны прибыл груз 18 мая?)
  • Где? В какой стране/городе? На каком континенте? С какого континента?
    (В каком городе находится Эйфелева башня?)
  • Почему? (Почему случился пожар?)
  • Как? (Как убрать пятно с ковра?)
• Вопросы к косвенному дополнению:
  
  • Предлог + <что,в чем, на чем, из чего> (Из чего состоит вода?)
  • Какую (-ого,-ое...) + слово с известной семантикой?
  • Какую (-ого,-ое...)/какова + слово с неизвестной семантикой?
• Вопрос к прямому дополнению:
  
  • Какой (-ие,-ую...)? (Какую страну посетил Путин?)

Задания выдаются участникам на очень короткое время (1 день). Возможно, on-line использование интерфейса участника для выполнение запросов.

Ответом системы на каждый вопрос является упорядоченный список "ответов" длиной не более 10. Для каждого ответа указывается ссылка на документ первоисточник и фрагмент текста, содержащий не более 300 символов без использования html разметки, в котором, по мнению системы-участника, находится ответ на поставленный вопрос.

Коллекция заданий

Коллекция заданий строиться в четыре этапа согласно следующему графику:

• до 23 мая каждый из участников предлагает свой вариант определения, что такое "правильный" вопрос с 5-10 примерами
• к 27 мая формируется итоговое определение и общий список вопросов
• к 10 июня участники предоставляют 200 вопросов в оргомитет. Из каждой группы запросов отбраковывается по 50 запросов так, что от каждого участника берется одинаковое количество вопросов.
• 15 июня - окончательный набор запросов (всего 500)

Методология оценки

• Количество оцениваемых заданий: 500
• Задание асессору:
  Ассессор просматривает аннотации с ответами и cоответсвующий документ, отвечая на следующий ряд вопросов:
  • есть ли ответ на поставленный вопрос в аннотации?
  • кажется ли по аннотации, что ответ содержиться в целом документе?
  • есть ли ответ в документе?
  Ассесор формулирует "правильный" ответ ("ключевой признак").
• метод оценки: метод "общего котла" (pooling) с глубиной пула 50
• шкала оценки релевантности:
  
  • ответ есть в аннотации/возможно ответ есть в документе/в документе есть ответ/ответа нет/невозможно оценить
• Стандартные метрики:
  • точность
  • полнота

Форматы данных

• коллекции
• заданий
• результатов