Модель винагороди в навчанні з підкріпленням для задачі тестування безпеки вебзастосунків

Abstract

Досліджено задачу формування функції винагороди для навчання з підкріпленням в аналізі сценаріїв кібератак, у якій традиційні підходи в межах марковських процесів прийняття рішень, орієнтовані переважно на досягнення кінцевого стану, недостатньо відображають часову динаміку компрометації та неоднакову важливість проміжних цілей. Запропоновано модель винагороди, яка поєднує часову складову — час до компрометації (time-to-compromise, TTC) і семантичні ваги проміжних цілей, зокрема дій, пов’язаних із підвищенням привілеїв і доступом до критичних ресурсів. На відміну від традиційних схем винагороди, такий підхід формує локально інформативний сигнал підкріплення, що спрямовує навчання не лише на досягнення компрометації, а й на побудову часово ефективних і структурно змістовних траєкторій атаки. Експериментальне дослідження виконано на 12 стохастично згенерованих MAL-сценаріях (7200 запусків на метод), сформованих на основі відкритих моделей атак. Отримані результати показали, що запропонована модель забезпечує суттєво менше середнє значення TTC порівняно з трьома базовими підходами (перевага від 5 % до 21 %) з високим рівнем статистичної значущості, одночасно підвищуючи частоту успішного досягнення цільового стану і зменшуючи кількість недопустимих дій. Водночас побудовані політики стають інтерпретованішими: частка цільових дій у побудованих траєкторіях зростає, а допоміжні кроки витісняються на користь стратегічно значущих дій підвищення привілеїв. Аналіз чутливості підтвердив стійкість результатів до вибору параметрів моделі. Практичне значення роботи полягає у можливості використання запропонованого підходу для виявлення, ранжування та пріоритезації найнебезпечніших сценаріїв компрометації вебзастосунків з урахуванням їх часової та структурної критичності.The paper addresses the problem of reward function design for reinforcement learning in cyberattack scenario analysis, traditional approaches within Markov decision processes, focused primarily on reaching a terminal state, insufficiently reflect the temporal dynamics of compromise and the varying importance of intermediate objectives. A reward model is proposed that combines a temporal component time-to-compromise (TTC) with semantic weights of intermediate goals, particularly actions related to privilege escalation and access to critical resources. Unlike conventional reward schemes, this approach produces a locally informative reinforcement signal that guides learning not only toward achieving compromise but also toward constructing time-efficient and structurally meaningful attack trajectories. The experimental study was conducted on 12 stochastically generated MAL-scenarios (7200 runs per method) based on open attack models. The results showed that the proposed model yields a substantially lower mean TTC compared to three baseline approaches (improvement ranging 5 % to 21 %) with high statistical significance, while simultaneously increasing the rate of successful target state achievement and reducing the number of inadmissible actions. The resulting policies are also more interpretable: the share of targeted actions in the constructed trajectories increases, while auxiliary steps are displaced in favor of strategically significant privilege escalation actions. Sensitivity analysis confirmed the robustness of the results to the choice of model parameters. The practical significance of the work lies in the potential application of the proposed approach for identifying, ranking, and prioritizing the most dangerous web application compromise scenarios with respect to their temporal and structural criticality.