Прогнозування показників якості програмних систем із застосуванням модифікацій методу SHAP

Abstract

Запропоновано 5 пропозицій для поліпшення практичного застосування методу SHAP (Shapley additive explanations — додаткові пояснення за Шеплі) у контексті оцінки якості програмних систем (ПС), що дозволило дослідити можливості вдосконалення методу SHAP щодо прогнозування показників якості ПС. Метою дослідження є підвищення точності та адаптивності методу SHAP шляхом його модифікацій для врахування різноманітних параметрів якості ПС, зокрема продуктивності, надійності, масштабованості та зручності використання. В роботі визначено такі завдання: провести детальний огляд проблем, пов’язаних із застосуванням методу SHAP під час оцінки якості ПС; математично описати п’ять модифікацій методу SHAP, спрямованих на підвищення його точності, адаптивності та швидкості оцінки показників якості ПС; провести експериментальну перевірку запропонованих модифікацій для оцінки їхньої ефективності в порівнянні з оригінальним методом. В ході досліджень розглянуто п’ять підходів, щодо вдосконалення методу SHAP: LSTM (Long Short-Term Memory — довга короткочасна пам’ять); CNN (Convolutional Neural Networks — згорткові нейронні мережі), адаптивний SHAP MLP (multilayer perceptron — багатошаровий перцептрон), RNN (Recurrent Neural Network — рекурентна нейронна мережа (розглядалися ансамблі моделей та Баєсівське оновлення)). Проведено практичне порівняння результатів, яке показало, що запропоновані варіації SHAP можуть значно підвищити точність та швидкість прогнозування, особливо в умовах динамічних змін та великих обсягів даних. В процесі розробки та обґрунтування п’яти оптимізаційних модифікацій методу SHAP досягнуто підвищення точності та ефективності прогнозування показників якості ПС. У ході дослідження встановлено, що методи, які використовують глибокі нейронні мережі (LSTM, CNN), показують вищу точність та адаптивність у порівнянні з оригінальним SHAP, проте ціною цього є складність реалізації та тривалий час виконання. Адаптивний SHAP та Ensemble є оптимальними з погляду балансу між точністю, адаптивністю та інтерпретованістю, проте потребують певної оптимізації для поліпшення часу виконання. Оригінальний SHAP показав задовільну точність (MAE 0,84) та інтерпретованість (7/10), проте поступається сучасним підходам у питаннях адаптивності (6/10) та часу виконання (0,4 години). SHAP потребує подальшої оптимізації, зокрема в умовах динамічних середовищ, де важлива швидка адаптація до нових даних. Часові ряди (LSTM) забезпечили найвищу точність серед інших методів (MAE 0,91) та хорошу адаптивність (8/10).This paper proposes five suggestions for improving the practical application of the SHAP method in the context of software system (SS) quality assessment. The study explores the potential for enhancing the SHAP method (Shapley Additive Explanations) in forecasting the quality indicators of software systems. The aim of the research is to increase the accuracy and adaptability of the SHAP method through modifications that account for various SS quality parameters, including performance, reliability, scalability, and usability. The objectives of the study are the following: to conduct a detailed review of the issues associated with the application of the SHAP method in SS quality assessment; to mathematically describe five methods for modifying the SHAP method to improve its accuracy, adaptability, and speed in evaluating SS quality indicators; and to experimentally verify the proposed modifications to assess their effectiveness compared to the original method. The study examines five methods for enhancing the SHAP method: LSTM (Long Short-Term Memory); CNN (Convolutional Neural Networks); adaptive SHAP; MLP (Multilayer Perceptron); and RNN (Recurrent Neural Network, including model ensembles and Bayesian updating). A practical comparison of the results demonstrated that the proposed variations of SHAP could significantly improve accuracy and prediction speed, especially in dynamic conditions and large data volumes. The development and justification of the five optimization modifications of the SHAP method achieved improvements in accuracy and forecasting efficiency for SS quality indicators. The research found that methods using deep neural networks (LSTM, CNN) show higher accuracy and adaptability compared to the original SHAP; however, this comes at the cost of implementation complexity and longer execution times. Adaptive SHAP and Ensemble are optimal in terms of balancing accuracy, adaptability, and interpretability, but require some optimization to improve execution time. The original SHAP showed satisfactory accuracy (MAE 0.84) and interpretability (7/10), but lagged behind modern approaches in adaptability (6/10) and execution time (0.4 hours). SHAP needs further optimization, especially in dynamic environments rapid adaptation to new data is crucial. Time series (LSTM) provided the highest accuracy among the methods (MAE 0.91) and good adaptability (8/10).