Гібридний підхід до пошуку та обробки складноструктурованих даних великого обсягу для побудови інтегрованого алгоритму аналізу культурної спадщини України

Abstract

The issue of preserving and analyzing Ukraine’s cultural heritage requires the development of the advanced intelligent tools capable of processing complex, multimodal, and heterogeneous data. Traditional methods of information retrieval and analysis often fail to account for the multilingual nature of archives, the presence of handwritten and poorly digitized documents, historical variations in terminology, and the necessity of fact verification, which significantly reduces the effectiveness of data integration diverse sources. To address these challenges, this study proposes a hybrid approach that combines multilevel web parsing, optical and handwritten text recognition (OCR/HTR), natural language processing (NLP) techniques, mechanisms for detecting duplicates and unreliable facts, and the construction of a knowledge graph employing clustering algorithms, PageRank, Apriori, and ARIMA. A distinctive feature of the proposed system is an adaptive search module enabling automated extraction, structuring, and verification of data, as well as an interactive map with geospatial visualization of cultural heritage figures, implemented using the Leaflet library and OpenStreetMap technologies. The architecture of the system supports multilayer data processing — normalization, lemmatization, and named entity recognition to semantic analysis, associative search, and predictive modeling of cultural and historical dynamics. Computational experiments confirmed the efficiency and scalability of the approach, demonstrating stable system performance in real-time conditions. The obtained results highlight the potential of the developed model as the foundation for a unified national information and retrieval system for Ukraine’s cultural heritage. The practical value of this hybrid framework extends to museum studies, archival science, education, and digital humanities research, ensuring standardized access to cultural data, enhancing analytical reliability, and fostering the integration of Ukrainian heritage into the global digital ecosystem. Further development of the system may involve the incorporation of multimodal data sources such as 3D models, audio archives, and blockchain-based provenance verification to strengthen data authenticity and long-term digital preservation.

Проблематика збереження та аналізу культурної спадщини України вимагає створення сучасних інтелектуальних інструментів, здатних обробляти складноструктуровані, багатомодальні та різнотипні дані великого обсягу. Традиційні методи пошуку й аналізу інформації здебільшого не враховують багатомовність архівів, наявність рукописних документів, історичних варіацій термінології та необхідність верифікації фактів, що істотно знижує ефективність інтеграції відомостей з різних джерел. Для вирішення цих проблем у роботі запропоновано гібридний підхід на базі розробки інтегрованого алгоритму обробки та аналізу даних, який поєднує парсинг інтернет-ресурсів, методи оптичного та рукописного розпізнавання текстів, технології обробки природної мови, механізми виявлення дублікатів і недостовірних фактів, а також побудову графа знань з подальшим застосуванням алгоритмів кластеризації. Особливістю системи є наявність адаптивного пошукового модуля, що забезпечує автоматичне вилучення, структуризацію та перевірку даних, а також інтерактивна мапа з геоприв’язкою діячів культурної спадщини, реалізована засобами бібліотеки Leaflet і технологій OpenStreetMap. Архітектура системи передбачає багаторівневу обробку інформації — від нормалізації, лематизації та ідентифікації сутностей до семантичного аналізу, асоціативного пошуку та формування прогнозних моделей розвитку культурних процесів. Проведені обчислювальні експерименти підтвердили ефективність запропонованого підходу, що свідчить про придатність її використання у режимі реального часу. Отримані результати демонструють перспективність розробленої інформаційної системи для створення комплексної програмної платформи збору та збереження даних культурної спадщини України. Практичне застосування гібридного підходу охоплює музейну, архівну, освітню та наукову діяльність, забезпечуючи уніфікований доступ до цифрових джерел, підвищення достовірності аналітики й розвиток інфраструктури цифрової гуманітаристики.