Критерії та метрики безпеки при нефункціональному тестуванні систем генеративного штучного інтелекту

Abstract

The paper examines security criteria and specific metrics for non-functional testing of generative artificial intelligence systems. Traditional testing approaches fail to adequately assess risks because the expected results of AI agents are no longer static and span a continuously expanding space of valid outcomes. In critical domains, even a single wrong recommendation generated by a model can have catastrophic consequences. The application of specialized metrics, such as Toxicity Score, Adversarial Accuracy, and Error Impact Coefficient, is analyzed. The necessity of integrating ethical evaluation, robustness testing against misleading inputs, and solution compliance validation against security rules (Red Teaming) into the nonfunctional testing process of AI solutions is demonstrated.

У статті розглядаються критерії та специфічні метрики безпеки для нефункціонального тестування систем на базі генеративного штучного інтелекту. Традиційні підходи до тестування не здатні адекватно оцінити ризики, оскільки очікувані результати ШІ-агентів не є статичними і охоплюють простір дійсних результатів, що постійно розширюється. У критичних доменах навіть одна неправильна рекомендація моделі може мати катастрофічні наслідки. Проаналізовано застосування спеціалізованих метрик, таких як оцінка токсичності (Toxicity Score), змагальна стійкість (Adversarial Accuracy) та коефіцієнт впливу помилок (Error Impact Coefficient). Доведено необхідність інтеграції етичної оцінки, перевірки стійкості до оманливих запитів та оцінки відповідності правилам безпеки (Red Teaming) у процес нефункціонального тестування ШІ.