Таблицы релевантности для дорожек РОМИП

На данной странице представлены таблицы релевантности, по которым производилось вычисление оценок систем, учавствующих в оценке, проводимой семинаром РОМИП.

Большинство из этих таблиц было построено на основе оценок асессоров.
Таблицы содержут следующие типы оценок:

• AND - сильные требования к релевантности
• OR - слабые требования к релевантности
• SINGLE - оценка каждой пары документ/запрос производилась только одним ассессором
• IDEAL - сравнение с эталонным каталогом (без участия ассессоров)

Более подробное описание процедур оценки можно найти в трудах РОМИП за соотвествующий год.

Таблицы релевантности для задач:

• поиска по Веб-коллекции
  • 2003: AND OR
  • 2004:
    • с учетом расширенных описаний AND OR
    • без учета расширенных описаний AND OR
  • 2005: AND OR
  • 2006: AND OR
• поиска по коллекции нормативно-правовых документов
  • 2004: AND OR
  • 2005: SINGLE
  • 2006: SINGLE
• поиска по смешанной коллекции
  • 2005: AND OR
  • 2006: AND OR
• поиска по документу-образцу
  • 2005: AND OR
  • 2006: AND OR
• тематической классификации нормативно-правовых документов
• 2004: IDEAL40 AND OR
• 2005: IDEAL40
• 2006: IDEAL40
• тематической классификации Веб-сайтов
• 2003: AND OR
• 2004: AND OR
• 2005: AND OR
• 2006: AND OR
• тематической классификации Веб-страниц
• 2005: AND OR
• 2006: AND OR
• фактографического поиска по новостной коллекции
  • 2005: AND OR
• новостного поиска
  • 2006
• контекстно-зависимого аннотирования текстовых документов
  • 2005: AND OR
  • 2006:
    • для порога relevant-minus AND OR
    • для порога relevant-plus AND OR
    • для порога vital AND OR
• Вопросно-ответный поиск
  • 2006