Інформаційна технологія оптимізації пошуку документів у веб-системах

Abstract

Дисертація присвячена розробленню інформаційної технології оптимізації пошуку докуметів у веб-системах з метою зменшення часу пошуку. В роботі запропоновано метод оцінювання релевантності інформаційних блоків веб-сторінок з точки зору оптимізації для пошукових систем та метод очищення веб-сторінок від інформаційного шуму, який ґрунтується на розробленій математичній моделі оцінювання важливості інформаційних блоків веб-сторінок, що дало змогу підвищити ймовірність правильної ідентифікації основного контенту веб-сторінок. На основі цих методів та моделі було розроблено метод знаходження оптимальних шляхів перегляду документів у веб-системах, який дав змогу підвищити швидкість багатокрокового процесу отримання інформації. Розроблено методики та алгоритми для реалізації запропонованих математичних моделей і методів та на основі них розроблено програмне забезпечення.

В работе проведено исследование методов информационного поиска, в частности, методов оценивания релевантности и полноты поиска, методов оценки дубликатов текстовых документов, а также методов определения основного контента веб-страниц. В работе предложен метод SeoRank для оценивания релевантности информационных блоков веб-страниц с точки зрения оптимизации для поисковых систем, который основан на использовании принципов SEO, что позволило повысить достоверность идентификации типов информационных блоков с точки зрения важности для конечного пользователя. В отличие от классического применения правил SEO для комплексной оценки веб-сайтов, SeoRank не учитывает внешние факторы, а только те факторы, которые связаны с оценкой контента веб-страниц. В работе также предложен метод нахождения оптимальных маршрутов просмотра документов в веб-системах, который использует гипертекстовую структуру набора веб-документов для построения графа зависимости между ними, а также учитывает только основной контент веб-документов, что позволяет исключить из результатов поиска такие, которые содержат дублирующийся контент. Разработаны методики практического применения предложенных методов и моделей, которые позволяют эффективно использовать полученные результаты для решения задач оптимизации поиска документов в веб-системах. Разработанное алгоритмическое и программное обеспечение подтверждает адекватность и корректность теоретических выводов, а также практическую ценность результатов диссертационного исследования.

The thesis is devoted to development of information technology in search optimization Paper of Web-based systems to reduce the search time. The method of evaluating the relevance of information blocks web pages in terms of optimization for search engines and method of cleaning the web of information noise, based on mathematical models assessing the importance of information blocks web pages, allowing us to increase the likelihood of correct identification of the main content web pages. Based on these methods and models have been developed a method of finding optimal ways to view documents in Web-based systems that enabled to increase the speed of multistep process information. The appropriated algorithms and software were developed for proposed mathematical models and methods.