Дорожка по тематической классификации

Общий алгоритм проведения един для всех дорожек. На этой странице уточняются конкретные детали для этой дорожки.

Постановка задачи

Один и тот же документ может относиться сразу к нескольким категориям. Поэтому ответом является упорядоченный список (до 5 категорий) для каждого из классифицируемых документов.

Отметим, что документ может не относится ни к одной из категорий, и в этом случае идеальным ответом является пустой список назначенных категорий.

Условия игры

Документы, относящиеся к обучающей выборке, хранятся в архивах с именами вида legal_training.*.

Предполагается, что классификации должны подвергаться все документы из архивов вида legal.*, и для каждого из этих документов будет указано от 0 до 5 рубрик (список должен быть упорядочен в порядке убывания вероятности принадлежности к рубрике).

Оценка результатов будет проводится для некоторого количества выбранных случайным образом рубрик и будет основана на использовании полного каталога Кодекс (верифицированного экспертами вручную). Также планируется проведение независимой оценки части данных экспертами РОМИП (не имеющими опыта работы с нормативными документами).

Форматы

• данных
• описания обучающей выборки
• результатов
• экспертных оценок