An adversarial testing framework for AI-driven task routing systems

Abstract

The paper presents an adversarial testing methodology for evaluating AI-driven task routing systems. The methodology defines structured attack scenarios and strict output constraints to measure resistance against unauthorized data disclosure. To validate suggested  approach, an AI-based routing solution implemented using an Salesforce Agentforce Prompt Template powered by ChatGPT 5 was tested in a controlled environment. It has been proven that using a structured approach to testing can reduce the risk of data leakage in AI-based decision support systems.

У статті запропоновано методику адверсарного тестування для оцінювання систем розподілу задач на основі штучного інтелекту. Розроблений підхід передбачає використання структурованих сценаріїв атак і суворих обмежень до формату вихідних даних з метою вимірювання стійкості системи до несанкціонованого розкриття інформації. Для перевірки запропонованої методики було досліджено AI-рішення з розподілу задач, реалізоване за допомогою Salesforce Agentforce Prompt Template на основі моделі ChatGPT 5, у контрольованому середовищі. У межах експерименту виконано декілька адверсарних сценаріїв у кількох категоріях атак. Отримані результати проаналізовано та узагальнено. Доведено, що застосування структурованого підходу до тестування дає змогу зменшити ризик витоку даних у системах підтримки прийняття рішень на основі штучного інтелекту.