Оцінка невизначеності вимірювання сенсу природно-мовних конструкцій

Abstract

Вирішено завдання оцінки невизначеності вимірювання сенсу природно-мовних конструкцій (ПМК) на основі формалізації понять мовного образу, штучної когнітивної системи та одиниці сенсу. В основу моделі бази знань штучної когнітивної системи закладено статистичну інформацію про асоціативну сполучуваність мовних образів, що надає підстави для уніфікованої оцінки одиниці та кількості сенсу ПМК. Запропоновано метод вимірювання сенсу ПМК на основі нечіткого відношення сенсу, який забезпечує врахування інформації про зв’язки між лемами тексту, що дозволяє отримати оцінку двох типів невизначеності вимірювання ознак сенсу. Отримано та інтерпретовано формальні оцінки невизначеності результатів вимірювання сенсу ПМК, що дозволяє врахувати інформацію про зв’язки між лемами для розв’язання прикладних задач комп’ютерної лінгвістики. За допомогою розробленого на основі пакету DKPro Core програмного забезпечення проведено експерименти з дослідження запропонованого методу в задачі виявлення інформативних ознак тексту. В результаті проведених експериментів отримано залежності параметрів виявленого Парето-подібного закону розподілу зв’язків між лемами, аналіз яких дозволяє вважати показник середньої кількості зв’язків мовного образу найбільш інформативною чисельною ознакою тексту.

Решена задача оценки неопределенности измерения смысла естественно-языковых конструкций (ЕЯК) на основе формализации понятий лингвистического образа, искусственной когнитивной системы и единицы смысла. В основу модели базы знаний искусственной когнитивной системы заложена статистическая информация относительно ассоциативной сочетаемости лингвистических образов, что обеспечивает возможность унифицированной оценки единицы и количества смысла ЕЯК. Предложен метод измерения смысла ЕЯК на основе нечеткого отношения смысла, обеспечивающий использование информации про связи между леммами текста, что позволяет получить оценку двух типов неопределенности измерения формальных признаков смысла. Получены и интерпретированы формальные оценки неопределенности результатов измерения смысла ЕЯК, что позволяет учитывать информацию про связи между леммами для решения прикладных задач компьютерной лингвистики. С помощью разработанного на основе пакета DKPro Core программного обеспечения проведены эксперименты с целью исследования предложенного метода в задаче определения информативных признаков текста. В результате проведенных экспериментов получены зависимости параметров обнаруженного Парето-подобного закона распределения связей между леммами, анализ которых позволяет считать показатель среднего количества связей лингвистического образа наиболее информативным численным признаком текста.

The task of evaluation of measurement uncertainty meaning of natural language constructs (NLC) based on formalization of the concepts of linguistic image, artificial cognitive systems and unit of sense is resolved. The basis of model the knowledge base of artificial cognitive system laid down statistical information regarding the associative compatibility of linguistic images, which enables unified evaluation the unit and the quantity of sense NLC. The method for measuring the sense of NLC based on fuzzy relation of meaning is offered. It provides to use information about the links between lemmas of text that allows you to estimate the measurement uncertainty of two types of sense signs. The results of the formal evaluation of the uncertainty of measurement sense of NLC are received and interpreted what enables into account information about the relationship between lemmas for solve tasks of computational linguistics. With developed on the basis of the package DKPro Core Software conducted experiments to study the proposed method in the problem of the definition of informative features of the text. The experiments obtained dependence of the parameters detected Pareto-like distribution law relations between lemmas, whose analysis suggests that average number of connections of linguistic image is the most informative numerical feature for the text.