ML Классификатор 2.0
ML Классификатор - система с обучением на образцах, использует метод
различительных сил и полнотекстовый поиск. При выделении признаков
применяется выделение словосочетаний статистическим методом, или при помощи
поверхностного синтаксического анализа. Полнотекстовый поиск таких
словочетаний в процессе классификации позволяет соблюсти баланс между
полнотой, характерной для систем классификации, использующих однословные
термины, и точностью, которой отличаются системы со словосочетаниями.
Система основана на использовании двух библиотек:
Средства библиотеки
позволяют автоматически анализировать содержание
текстовых документов, представляя его в форме ассоциативной семантической
сети. В частности, позволяют построить тематический профиль как одного
документа, так и коллекции.
В библиотеке
реализованы два независимых комплекса функций, которые
предназначены для автоматического построения иерархического рубрикатора
по набору заданных объектов и для автоматической классификации объектов
по заданному рубрикатору.
ИПС, обладающая возможностями как контекстного, так и
реляционного
поиска. Позволяет искать документы с учетом морфологии и стоп-слов
русского и английского языков, используя SQL-подобный язык запросов и
комбинируя поисковые ограничения на контекст с ограничениями на заданные
атрибуты документов. Поддерживает упорядочение результатов как по
соответствию запросу, так и по реляционным атрибутам.
Система Алхимик работает на основе
семантического словаря проф. В. А. Тузова и производит универсальный поиск.
Соответственно, она похожа на обычную поисковую систему с некоторыми
семантическими добавлениями.
Исследовательский прототип системы классификации ресурсов Веб
"Золушка" основан на использовании стандартных алгоритмов
классификации и расширенных профилей классифицируемых ресурсов.
Для расширения профилей используется разнообразная информация о
внутренней структуре Веб-страниц, а также об окрестностях
ресурсов в графе Веб (гипертекстовые ссылки,
содержимое соседних документов, "логические" документы).
Полнотекстовая база данных, предназначенная для
создания информационных систем и хранилищ документов. На базе нее созданы
информационно-правовый системы "Кодекс" и "Стройэксперт", электронные
системы
документооборота "Кодекс", ряд заказных систем.
Технология Ключи к Тексту (К2Т) базируется на
вычислительной процедуре
семиотического (знакового) индексирования и построения для произвольного
текста списка слов с весами (оценивающими значимость слова в тексте), в
своем сочетании являющихся наиболее характерными для конкретного текста.
Механизм формирования осмысленного списка слов основан на отыскании пар
слов (точнее, пар лемм слов), наиболее сильно связанных по определенному
критерию, зависящему от частоты совместной встречаемости слов в тексте,
предложенному М.Г.Крейнесом.
Выделение ключевых языковых конструкций в текстах
(информационный портрет текста).
Планируется использовать технологии, работающие в
Университетской
информационной системе РОССИЯ,
которая поддерживается лабораторией анализа информационных ресурсов
Научно-исследовательского вычислительного центра МГУ им.М.В.Ломоносова и
АНО Центр информационных исследований.
В РОМИП будут использованы разные компоненты программного комплекса
Автоматизированной лмнгвистической обработки текстов (АЛОТ) и
информационно-поисковая машина УИС РОССИЯ на базе Oracle 8i. АЛОТ
включает в себя компоненты морфологического анализа русскоязычных и
англоязычных текстов, терминологического и тематического анализа,
автоматического аннотирования и рубрицирования. Основа тематического
анализа - двуязычный Тезаурус по общественно-политической тематике для
автоматического индексирования (АНО ЦИИ, 28 тыс. понятий, 70 тыс.
рус.синонимов, 60 тыс. английских).
Возможно для заданий РОМИП будут использованы и разработки, не
используемые в промышленной технологии текущей версии УИС РОССИЯ, в
частности, Тезаурус русского языка (43 тыс. понятий, 110 тыс. синонимов),
а также индексы терминоподобных словосочетаний и т.п.
Полнотекстовое индексирование и поискс с учетом русской
морфологии
