Фильтрация данных

Фильтрация данных (классификация) - технология разделения входящего текстового потока на рубрики с помощью лингвистических фильтров. Лингвистические фильтры создаются квалифицированными лингвистами на специальном языке описания предметной области, использующем всю лингвистическую информацию при анализе неструктурированных текстов на естественном языке. Для создания лингвистических фильтров используется специально разработанный программный комплекс. Он позволяет:

• создавать сложную многоуровневую структуру фильтра;
• использовать для поиска понятий информацию о морфологической форме и синтаксической функции слов (задавать слово, конкретную форму слова, словоформы, объединенные одним морфологическим признаком, и даже не связанный со словом морфологический признак);
• использовать информацию о взаимном расположении понятий в тексте;
• использовать информацию о фактографических объектах текста;
• использовать словари синонимов, квазисинонимов и гиперонимов для составления фильтров;
• использовать атрибуты – заголовок, источник, дату – для установления параметров поиска;
• задавать любые логические связи между элементами фильтра (конъюнкция, дизъюнкция, импликация, отрицание и пр.);
• задавать относительную значимость элементов.

 

Сложные и трудоемкие в разработке лингвистические фильтры иногда оказываются избыточны для удовлетворения конкретных информационных потребностей заказчика, поэтому в системе мониторинга СМИ "ЛКС Аналитика" классификация может осуществляться и самим пользователем с помощью модуля создания пользовательских фильтров. Функционал данного модуля достаточен для решения текущих несложных вопросов классификации. Модуль позволяет:

• создавать разветвленное дерево фильтров;
• использовать информацию о взаимном расположении понятий в тексте;
• использовать расширение по словарям синонимов, квазисинонимов и гиперонимов;
• задавать базовые логические операции между элементами.

При конечном представлении информации пользовательские и лингвистические фильтры представляют собой одно дерево. Для каждой рубрики в классификаторе подсчитывается релевантность, выделяются наиболее значимые фрагменты текста, относящие его к этой рубрике. Классификация позволяет пользователю получить актуальную структурированную информацию, в каждой рубрике отсортированную по релевантности.