Використання контекстно-орієнтованих правил і ML-аналітики для автоматичного навчання систем захисту LLM від prompt injection атак

Abstract

The paper investigates the problem of building adaptive defense systems for large language models (LLMs) against prompt injection attacks. A novel approach is proposed, combining context-oriented security rules and ML analytics for automatic learning of malicious query filtering systems. Unlike static signature-based methods, the proposed approach enables dynamic rule generation based on semantic context and real attack analysis. Machine learning provides self-updating capabilities and enhances the robustness of LLM-based applications in rapidly evolving threat environments.

У роботі розглянуто проблему побудови адаптивних систем захисту великих мовних моделей (LLM) від prompt injection атак. Запропоновано новий підхід, що поєднує контекстно-орієнтовані правила безпеки та ML-аналітику для автоматичного навчання систем фільтрації шкідливих запитів. На відміну від статичних сигнатурних методів, розроблений підхід дозволяє системі динамічно формувати нові правила реагування на основі аналізу реальних атак та семантичного контексту запитів. Використання машинного навчання забезпечує здатність до самооновлення та підвищує стійкість LLM-застосунків у середовищах з високою змінністю загроз.