Метод количественной оценки важности словосочетаний в системах семантического анализа электронных текстов

Abstract

Рассматривается метод количественной оценки важности словосочетаний в семантической сети онтологи- ческой базы знаний. Метод основан на комплексном использовании значений показателей TF, TF/IDF, а также общего и частных рангов слов. Исходной операцией предложенного алгоритма является предварительное упоря- дочение слов по убыванию важности и составление модифицированных списков. Экспериментально исследовано влияние длины словосочетаний, а также количества слов из первого и второго модифицированных списков на вероятность присутствия анализируемых словосочетаний в документах корпуса текстов.

Consider a method quantitative estimation of the importance of word combinations in the semantic network of ontological knowledge base. The method is based on the integrated use of values of TF, TF/IDF, as well as general and special grades of words. The initial operation of the proposed algorithm is pre-ordering the words in descending order of importance and preparation of the modied list. The eect of the length of word combinations, as well as the number of words from the rst and second modied list to the probability of the presence word combinations in the documents of the analyzed corpus.