An intelligent data processing architecture for complex information systems: case studies in environmental and energy systems

Abstract

This paper proposes an intelligent data processing architecture for complex environmental and energy systems operating under conditions of high dynamics, heterogeneous data sources, and large-scale information flows. The architecture integrates distributed computing, edge/cloud infrastructure, IoT, stream analytics, and AI/ML models to support real-time data integration, normalization, synchronization, and intelligent analysis. A distinctive feature of the proposed approach is the incorporation of an intelligent anomaly detection method for heterogeneous streaming data. The method is based on multi-component assessment of the system state, taking into account the statistical characteristics of data streams, AI/ML model outputs, contextual rules, data quality, and temporal delays. This enables the detection not only of threshold-based deviations, but also of complex anomalous states associated with atypical parameter combinations, disruptions in temporal dynamics, or inconsistencies with domain-specific constraints. Practical evaluation was conducted using an environmental monitoring system and a smart grid network as case studies. The results confirmed the performance, scalability, adaptability, and effectiveness of the proposed architecture under high-load conditions, as well as its suitability for developing intelligent real-time information systems.У статті запропоновано інтелектуальну архітектуру обробки даних для складних екологічних та енергетичних систем, що функціонують в умовах високої динамічності, гетерогенності джерел і значних обсягів інформаційних потоків. Архітектура поєднує distributed computing, edge/cloud infrastructure, IoT, потокову аналітику та AI/ML-моделі для інтеграції, нормалізації, синхронізації й інтелектуального аналізу даних у режимі реального часу. Особливістю підходу є включення інтелектуального методу виявлення аномалій у гетерогенних потокових даних. Метод ґрунтується на багатокомпонентному оцінюванні стану системи з урахуванням статистичних характеристик потоків, результатів AI/ML-моделей, контекстних правил, якості даних і часових затримок. Це дає змогу виявляти не лише порогові відхилення, а й складні аномальні стани, пов’язані з нетиповими комбінаціями параметрів, порушенням часової динаміки або невідповідністю доменним обмеженням. Практичне оцінювання виконано на прикладі системи екологічного моніторингу та smart grid-мережі. Результати підтвердили продуктивність, масштабованість, адаптивність і ефективність запропонованої архітектури в умовах високого навантаження, а також доцільність її використання для побудови інтелектуальних інформаційних систем реального часу.