Застосування вейвлет-аналізу для валідації даних у системах оцінки ризику

Abstract

Об’єктом дослідження є дві інформаційні системи. Перша система (S1) — це функціонуюча система, стан якої може бути нормальним або ненормальним, що описується набором параметрів системи в певний момент часу. Тобто існують часові ряди, що описують нормальну поведінку цієї системи та відхилення від неї. Друга система (S2) призначена для виявлення аномальної активності в першій системі. Виходи цієї системи виявлення аномалій представлені часовим рядом, кожне зі значень якого характеризує стан системи в певний момент часу двома параметрами: впевненістю (confidence) другої системи виявлення аномалій в оцінці стану першої системи та серйозністю (severity) аномалії, що виникла в першій системі. У дослідженні детально розглянуто методологію застосування вейвлет-аналізу, що включає декомпозицію сигналу на коефіцієнти апроксимації та деталізації, реконструкцію сигналу, розрахунок кореляції між показниками впевненості та серйозністю виявленої аномалії системи, а також аналіз енергії компонентів для оцінки нестабільності роботи системи. Запропонований підхід дозволяє встановити граничні значення для визначення нестабільності в роботі системи виявлення аномалій та розробити метрики якості її роботи. Особливу увагу приділено оцінюванню стабільності впевненості системи через енергію компонентів та визначення ступеня узгодженості між впевненістю та серйозністю через кореляційний аналіз. Показано, як цей метод інтегрується з методологією оцінки ризику ACRAM (S3), забезпечуючи попередню валідацію даних, їхню фільтрацію, комплексну оцінку та валідацію результатів. На основі тестових даних продемонстровано результати застосування розробленого алгоритму, зокрема, розрахунок енергії компонентів, кореляцію між впевненістю та серйозністю, а також встановлення порогів для визначення рівня стабільності системи (S2). Отримані результати показують, що система виявлення аномалій демонструє середній рівень стабільності, а кореляційний аналіз виявляє значну негативну кореляцію між впевненістю системи та серйозністю виявлених аномалій, що свідчить про зниження впевненості системи під час переходу до серйозніших станів. Запропонований метод валідації даних є ефективним інструментом для підвищення надійності систем оцінювання ризику і може знайти застосування в різних галузях, що потребують обробки часових рядів та виявлення аномалій.

The object of the study is two information systems. The first system (S1) is a functioning system, the state of which can be normal or abnormal, described by a set of system parameters at a certain point in time. That is, there are time series describing the normal behavior of this system and deviations it. The second system (S2) is designed to detect abnormal activity in the first system. The outputs of this anomaly detection system are presented by a time series, each of the values of which characterizes the state of the system at a certain point in time by two parameters — the confidence of the second anomaly detection system in assessing the state of the first system and the severity of the anomaly that occurred in the first system. The study examines in detail the methodology for applying wavelet analysis, which includes the decomposition of the signal into approximating and detailing coefficients, signal reconstruction, calculation of the correlation between confidence and the severity system, as well as the analysis of the energy of the details to assess the instability of the system. The proposed approach allows to set threshold values for determining instability in the operation of the anomaly detection system and develop metrics for the quality of its operation. Particular attention is paid to assessing the stability of the system's confidence through the energy of details, which characterizes the intensity of high-frequency changes in the signal, and determining the degree of consistency between confidence and severity through correlation analysis. It is shown how this method integrates with the ACRAM risk assessment methodology, providing preliminary data validation, their filtering, comprehensive assessment and validation of results. Based on the test data, the results of applying the developed algorithm are demonstrated, including the calculation of the energy of details, the correlation between confidence and severity, as well as setting thresholds to determine the level of system stability. The results obtained show that the anomaly detection system demonstrates an average level of stability, and correlation analysis reveals a significant negative correlation between the confidence of the system and the severity of the detected anomalies, which indicates a decrease in the confidence of the system during the transition to more serious states. The proposed data validation method is an effective tool for increasing the reliability of risk assessment systems and can be used in various industries that require time series processing and anomaly detection.Об’єктом дослідження є дві інформаційні системи. Перша система (S1) — це функціонуюча система, стан якої може бути нормальним або ненормальним, що описується набором параметрів системи в певний момент часу. Тобто існують часові ряди, що описують нормальну поведінку цієї системи та відхилення від неї. Друга система (S2) призначена для виявлення аномальної активності в першій системі. Виходи цієї системи виявлення аномалій представлені часовим рядом, кожне зі значень якого характеризує стан системи в певний момент часу двома параметрами: впевненістю (confidence) другої системи виявлення аномалій в оцінці стану першої системи та серйозністю (severity) аномалії, що виникла в першій системі. У дослідженні детально розглянуто методологію застосування вейвлет-аналізу, що включає декомпозицію сигналу на коефіцієнти апроксимації та деталізації, реконструкцію сигналу, розрахунок кореляції між показниками впевненості та серйозністю виявленої аномалії системи, а також аналіз енергії компонентів для оцінки нестабільності роботи системи. Запропонований підхід дозволяє встановити граничні значення для визначення нестабільності в роботі системи виявлення аномалій та розробити метрики якості її роботи. Особливу увагу приділено оцінюванню стабільності впевненості системи через енергію компонентів та визначення ступеня узгодженості між впевненістю та серйозністю через кореляційний аналіз. Показано, як цей метод інтегрується з методологією оцінки ризику ACRAM (S3), забезпечуючи попередню валідацію даних, їхню фільтрацію, комплексну оцінку та валідацію результатів. На основі тестових даних продемонстровано результати застосування розробленого алгоритму, зокрема, розрахунок енергії компонентів, кореляцію між впевненістю та серйозністю, а також встановлення порогів для визначення рівня стабільності системи (S2). Отримані результати показують, що система виявлення аномалій демонструє середній рівень стабільності, а кореляційний аналіз виявляє значну негативну кореляцію між впевненістю системи та серйозністю виявлених аномалій, що свідчить про зниження впевненості системи під час переходу до серйозніших станів. Запропонований метод валідації даних є ефективним інструментом для підвищення надійності систем оцінювання ризику і може знайти застосування в різних галузях, що потребують обробки часових рядів та виявлення аномалій.