Концептуальні алгоритми виокремлення морфем для реалізації інформаційної технології обробки природномовних текстів.

Abstract

У статті зроблено огляд існуючих напрямків морфологічного аналізу як складової частини лінгвістичної обробки текстової інформації та запропоновано алгоритми для виокремлення коренів, суфіксів, префіксів та закінчень, що реалізуються при виконання морфологічного аналізу слів з використанням асоціативно-статистичного підходу до отримання знань. Вхідними даними для запропонованих алгоритмів виокремлення морфем є тезаурус мовних образів. Введено показник "коефіцієнт входження" для статистичної оцінки визначення суфіксів та префіксів, що дозволило коректно визначати у слові кілька префіксів чи суфіксів.

This paper provides an overview of current trends of morphological analysis as a part of the linguistic processing of textual information and algorithms for the retrieving of roots, suffixes, prefixes and ends, which are realized for the morphological analysis of words using the associative and statistical approach to knowledge, is proposed. The input data for proposed algorithms is thesaurus of language images. "Coefficient occurrence" index for statistical evaluation of the definition of prefixes and suffixes that will properly define the word a few prefixes or suffixe, is introduced

В статье дается обзор существующих направлений морфологического анализа как составной части лингвистической обработки текстовой информации и предложены алгоритмы для выделения корней, суффиксов, приставок и окончаний, которые реализуются при выполнении морфологического анализа слов с использованием ассоциативно-статистического подхода к получению знаний. Входными данными для предлагаемых алгоритмов выделения морфем является тезаурус речевых образов. Введен показатель "коэффициент вхождения " для статистической оценки определения суффиксов и префиксов, что позволило корректно определять в слове несколько префиксов или суффиксов.