Спосіб підвищення швидкодії виявлення аномалій в часових рядах показників роботи хмарних технологій

Abstract

In modern cloud IT infrastructures, hundreds of metrics must be monitored to detect anomalies and ensure stable operation. Many of these metrics exhibit multi-seasonal characteristics, requiring decomposition into three components: trend, seasonality, and residuals. However, most known decomposition methods, including the well-known Multiple Seasonal-Trend decomposition using Locally Estimated Scatterplot Smoothing (MSTL), require significant computational resources. This article proposes an alternative, more computationally efficient approach for detecting anomalies in a large array of metrics, particularly for real-time applications. The method`s core idea is to identify linearly dependent metrics and model their trend and seasonal components using linear regression with other metrics. Anomaly detection is then performed on the residual component. This reduces the required computational power, thereby optimizing the expenses of cloud infrastructure monitoring centers. This work also demonstrates how to a suitable subset of metrics for linear regression modeling and decomposition, calculate the optimal time series length for determining linear regression model coefficients, and establish reliable criteria for detecting anomalous metric values. To verify the effectiveness of this linear regression-based decomposition approach, the experiment was conducted on a real cloud infrastructure. The experiment involved a containerized web application with heavy traffic on the Google Cloud Platform. The results showed that the Chebyshev inequality-based approach was the most suitable anomaly detection criterion in this case. Furthermore, a connection was established between the system`s architecture, which defines the nature of the metrics, and their statistical properties, which influences their ion for the proposed optimization approach.

В сучасній хмарній IT інфраструктурі необхідно відстежувати сотні показників (метрик) на наявність аномалій для забезпечення стабільної роботи ІТ-систем. Багато з цих показників мають мультисезонний характер, і вимагають декомпозиції на компоненти: тренд, сезонність та лишки. Більшість з відомих методів декомпозиції потребують великих обчислювальних ресурсів, зокрема, широко застосовуваний метод мультисезонної тренд декомпозиціїї з використанням локально обчислювального згладжування діаграми розсіювання (Multiple Seasonal-Trend decomposition using Loess/MSTL). У статті пропонується альтернативний підхід виявлення аномалій у великому масиві показників хмарної інфраструктури Google Cloud Platform, ефективніший з погляду використання обчислювальних ресурсів для застосування в режимі близькому до реального часу. Сутність підходу полягає у виявленні лінійно залежних один від одного показників, моделюванні їхньої трендової та сезонної компоненти за допомогою лінійної регресії від інших показників, та пошуку аномалій у лишковому компоненті. Це дозволяє з меншими витратами обчислювальних ресурсів знаходити аномальні значення показника, та оптимізує роботу центрів моніторингу хмарної інфраструктури. В роботі продемонстровано підхід до виділення набору показників, придатних до застосування декомпозиції в поєднанні з лінійною регресією, розрахунок оптимальної довжини часового ряду для знаходження коефіцієнтів регресії та критерії виявлення аномальних значень показників. Експериментально перевірено ефективність поєднання декомпозиції та лінійної регресії в реальній хмарній інфраструктурі високонавантажених веб-застосунків в контейнерах Google Cloud Platform. Виявлено, що критерії пошуку аномалій на базі нерівності Чєбишова є найприйнятнішими у таких завданнях. Знайдено зв’язок архітектури системи та статистичних особливостей показників, що впливає на їх вибір в запропонованому підході до оптимізації.