Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних

Abstract

Стаття досліджує вплив технік денормалізації на продуктивність запитів у сховищах даних IoT, зберігаючи прийнятну надлишковість даних. Проведено аналіз нормалізованих і денормалізованих підходів у середовищі розумних будинків на базі Azure Synapse. Емпіричні тести (10 000–5 млн записів) показали, що стратегічна денормалізація разом із колонковим зберіганням покращує продуктивність до 94%. Аналіз чотирьох технік оптимізації (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization) показав, що денормалізація збільшує початкові вимоги до сховища на 16% (120 ГБ vs. 103,5 ГБ), але ефективне стиснення зменшує кінцевий розмір на 50,4% (17,1 ГБ vs. 34,5 ГБ). Дослідження пропонує рекомендації щодо балансування продуктивності та надлишковості даних у високошвидкісних IoT-середовищах.This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 million records) shows that strategic denormalization combined with columnar storage optimization improves performance by up to 94%. Evaluating four key optimization techniques (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization), we find that denormalization initially increases storage needs by 16% (120 GB vs. 103.5 GB), but columnar compression reduces the final storage size by 50.4% (17.1 GB vs. 34.5 GB). The study provides practical insights into balancing query performance and data redundancy in high-speed IoT environments.