Удосконалений метод виявлення ключових слів у WEB-тексті

Abstract

У роботі запропоновано удосконалення методу виявлення ключових слів і словосполучень у web-тексті. Розглянуто такі основні етапи формування множини ключових слів та словосполучень з метою знайти шляхи підвищення швидкодії індексації та реферування web-текстів, як токенізація вихідного тексту, виключення стоп-слів, відсікання основ і закінчень із тексту, формування ключових слів та словосполучень з вихідного тексту. Запропоноване удосконалення базується на використанні словника предметної області, складеного експертом. Словник формується з урахуванням частоти повторень ключових слів та словосполучень у web-тексті, що покращить їх релевантність. Було виконано порівняння якості виявлених ключових слів та словосполучень в україномовних та англомовних web-текстах системами «Експертні КС», «OpenCalais», «Extractor», а також системою, що базується на запропонованому методі з використанням словника, за такими метриками як повнота, точність та F-міра. Аналіз показав, що запропонований удосконалений метод виявлення ключових слів та словосполучень в україномовних і англомовних web-текстах, надасть можливість виявляти релевантні слова та словосполучення з підвищенням їх F-міри на 9.5%, а повноти та точності - на 15% .

В работе предложено усовершенствование метода выявления ключевых слов и словосочетаний в web-тексте. Рассмотрены следующие основные этапы формирования множества ключевых слов и словосочетаний с целью найти пути повышения быстродействия ин дек-сации и реферирования web-текстов, токенизация исходного текста, исключение стоп-слов, отсечение основ и окончаний из текста, формирование ключевых слов и словосочетаний из исходного текста. Предложенное совершенствование базируется на использовании словаря предметной области, составленного экспертом. Словарь формируется с учетом частоты повторений ключевых слов и словосочетаний в web-тексте, улучшит их релевантность. Было выполнено сравнение качества выявле-ных ключевых слов и словосочетаний в украиноязычных и англоязычных web-текстах системами «Экспертные КС», «Open-Calais», «Extractor», а также системой, базирующейся на предложенном методе с использованием словаря, по таким метрикам как полнота, точность и F-мера. Анализ показал, что предложенный усовершенствованный метод выявления ключевых слов и словосочетаний в украиноязычных и англоязычных web-текстах, позволит выявлять релевантные слова и словосочитания с повышением их F-меры на 9.5%, а полноты и точности - на 15%.

The paper proposes an improvement of the method of extracting key words and phrases in the web-text. The following main stages of the formation of a plurality of key words and phrases are considered in order to find ways to increase the speed of indexing and refereeing web texts, to accurate source text, exclude stop words, cut off bases and endings from the text, the formation of key words and phrases from the source text. The proposed improvement is based on the use of the vocabulary of the subject area compiled by the expert. The dictionary is formed taking into account the frequency of repetitions of keywords and phrases in the web-text, will improve their relevancy. The comparison of the quality of the revealing keywords and phrases in the Ukrainian and English language web texts with the systems Expert Review, Open-Calais, Extractor, as well as the system based on the proposed method using the dictionary, recall, accuracy and F-measure. The analysis showed that the proposed advanced method for extracting keywords and phrases in Ukrainian and English web-texts will allow to reveal relevant words and word-received with an increase of their F-measures by 9.5%, and completeness and accuracy by 15%.