Керування даними часових рядів у системах розумного дому: баланс між аналітикою в реальному часі та зберіганням даних

Abstract

Стаття представляє новий підхід до управління даними часових рядів у системах розумного будинку, зосереджуючись на балансі між аналітикою в реальному часі та ефективним зберіганням історичних даних. Гібридна архітектура, яка поєднує Azure CosmosDB для обробки даних у реальному часі та Azure Synapse для аналітики історичних даних, демонструє значні переваги в продуктивності. Система досягає прискорення до 165 разів у виконанні аналітичних запитів (від 3,3 секунди до 20 мілісекунд для запитів агрегації часових рядів) при одночасному зменшенні кількості операцій читання в 17 разів. Впровадження оптимізаційних стратегій, таких як запис на основі зміни стану та інтервальне зберігання, значно зменшує обсяг даних при збереженні темпоральної цілісності даних. Система демонструє лінійну масштабованість, здатність обробляти до 1 мільйона операцій запису на секунду та досягає коефіцієнтів стиснення до 5:1 у CosmosDB та 10:1 у Synapse.

The article presents a novel approach to managing time-series data in smart home systems that balances real-time analytics with efficient historical data storage. A hybrid architecture combining Azure CosmosDB for real-time data processing and Azure Synapse for historical data analytics demonstrates significant performance advantages. The system achieves up to 165-fold acceleration in analytical query execution ( 3.3 seconds to 20 milliseconds for time-series aggregation queries) while reducing the number of read operations by 17. Implementing optimization strategies, such as state-based recording and interval-based storage, significantly reduces data volume while maintaining temporal data integrity. The system demonstrates linear scalability, handling up to 1 million write operations per second, and achieves compression ratios of up to 5:1 in Cosmos DB and 10:1 in Synapse.