Effectiveness of artificial intelligence for test prioritisation in distributed systems of Ukrainian and international software development

Abstract

The growing complexity of distributed Continuous Integration/Continuous Delivery (CI/CD) systems, and the limited scalability and stability of conventional heuristic methods for test prioritisation, necessitates the investigation of alternative methods of optimising the testing process. The purpose of this research was to determine the features of using AI methods for test prioritisation and to suggest an approach for integrating AI methods into automated testing processes. The research involved a comparative analysis of intelligent and hybrid methods for test prioritisation in distributed systems, using the APFD and APFDc metrics. The results of the study show the advantage of intelligent and hybrid approaches to test prioritisation over conventional heuristics. The random approach to test prioritisation proved to be the least efficient, achieving an APFD of approximately 0.51. More sophisticated heuristic approaches increased the APFD to around 0.62. Population-based methods increased the APFD to approximately 0.72. Using machine learning methods increased the APFD to about 0.76. The best results were achieved by using hybrid methods that combined machine learning and PSO. The APFD in this case reached 0.81, and the execution time for test suites decreased by nearly 45%. These results confirm that the integration of AI methods into the testing process is suitable for distributed CI/CD systems. The results of this study can be used by software developers, QA teams and engineers to optimise the testing processes in distributed systems.

Актуальність дослідження зумовлена зростанням складності розподілених Continuous Integration/Continuous Delivery (CI/CD)-систем та обмеженістю традиційних евристичних підходів до пріоритизації тестів, які не забезпечують достатньої стабільності та масштабованості в умовах великих тестових наборів і обмежених обчислювальних ресурсів. У зв’язку з цим постає потреба у пошуку більш адаптивних методів оптимізації процесу тестування. Метою дослідження було емпірично визначити особливості застосування методів штучного інтелекту (ШІ) для пріоритизації тестів у розподілених середовищах розробки програмного забезпечення та обґрунтувати практичний підхід до інтеграції ШІ у процеси автоматизованого тестування. Дослідження базувалося на порівняльному експериментальному аналізі інтелектуальних та гібридних методів пріоритизації тестів у розподілених системах із використанням метрик Average Percentage of Faults Detected (APFD) та Cost-cognizant Average Percentage of Faults Detected (APFDc). Результати дослідження показали перевагу інтелектуальних і гібридних підходів до пріоритизації тестів над традиційними евристиками в середовищах CI/CD. Випадкова пріоритизація демонструвала найнижчу ефективність із APFD близько 0,51, тоді як прості евристичні стратегії підвищували цей показник до приблизно 0,62. Популяційні методи забезпечували подальше зростання якості пріоритизації до рівня близько 0,72, а алгоритми машинного навчання – до близько 0,76, що підтверджує доцільність використання прогнозування дефектності для адаптивного впорядкування тестів. Найвищі результати було отримано для гібридних підходів, які поєднували машинне навчання з оптимізацією рою частинок: APFD досягав приблизно 0,81, а час виконання тестових наборів скорочувався майже на 45 %. Це свідчить про синергійний ефект інтеграції прогнозних моделей з оптимізаційними алгоритмами та підтверджує практичну доцільність гібридних методів для масштабованих розподілених CI/CD-середовищ. Результати дослідження можуть бути використані розробниками програмного забезпечення, командами забезпечення якості та інженерами для оптимізації процесів тестування у розподілених системах