РОМИП

 Новости 
 О проекте 
 Манифест 
 Приглашение к участию 
 Общие принципы 
 Участие в семинаре 
 График 
 Участники 
 Дорожки 
 Тестовые коллекции 
 Таблицы 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Таблицы релевантности для дорожек РОМИП

На данной странице представлены таблицы релевантности, по которым производилось вычисление оценок систем, учавствующих в оценке, проводимой семинаром РОМИП.

Большинство из этих таблиц было построено на основе оценок асессоров.
Таблицы содержут следующие типы оценок:

  • AND - сильные требования к релевантности
  • OR - слабые требования к релевантности
  • SINGLE - оценка каждой пары документ/запрос производилась только одним ассессором
  • IDEAL - сравнение с эталонным каталогом (без участия ассессоров)

Более подробное описание процедур оценки можно найти в трудах РОМИП за соотвествующий год.

Таблицы релевантности для задач:

  • поиска по Веб-коллекции
    • 2003: AND OR
    • 2004:
      • с учетом расширенных описаний AND OR
      • без учета расширенных описаний AND OR
    • 2005: AND OR
    • 2006: AND OR
    • 2007: AND OR
  • поиска по коллекции нормативно-правовых документов
  • поиска по смешанной коллекции
  • поиска по документу-образцу
  • тематической классификации нормативно-правовых документов
  • тематической классификации Веб-сайтов
  • тематической классификации Веб-страниц
  • фактографического поиска по новостной коллекции
  • новостного поиска
    • 2007
  • контекстно-зависимого аннотирования текстовых документов
    • 2005: AND OR
    • 2006:
      • для порога relevant-minus AND OR
      • для порога relevant-plus AND OR
      • для порога vital AND OR