Адаптивне балансування навантаження в API-інтеграційних мікросервісних системах на основі методів машинного навчання

Abstract

У статті досліджено та розв’язано актуальну науково-практичну проблему забезпечення стабільного функціонування сучасних мікросервісних систем в умовах високодинамічного, волатильного та часто непередбачуваного вхідного API-трафіку. В роботі проведено глибокий критичний аналіз фундаментальних обмежень класичних реактивних алгоритмів балансування навантаження, таких як Round Robin, Weighted Round Robin та Least Connections. Обґрунтовано, що головним недоліком цих підходів є їхня інерційність – здатність реагувати на перевантаження лише після фактичного виникнення черг та деградації продуктивності, що у високонавантажених системах неминуче призводить до порушення угод про рівень послуг (SLA) та виникнення каскадних відмов. Запропоновано принципово нову модель адаптивного проактивного управління ресурсами, яка інтегрує методи машинного навчання для короткострокового прогнозування інтенсивності API-викликів. Наукова новизна дослідження полягає у розробці та впровадженні рекурентних нейронних мереж архітектури LSTM (Long Short-Term Memory), які спеціалізовані на ідентифікації прихованих нелінійних патернів та складних часових залежностей у потоках вхідних запитів. Використання механізмів «воріт забування» (forget gates) в архітектурі LSTM дозволяє моделі ефективно відсіювати шум та зосереджуватися на значущих змінах трендів, що дає змогу системі з високою точністю передбачати виникнення критичних навантажень («flash crowds») за 5 – 10 секунд до їхньої появи. В межах математичного обґрунтування моделі використано апарат теорії масового обслуговування, адаптований до умов динамічної зміни інтенсивності трафіку. Сформульовано цільову функцію мінімізації сумарної затримки, де ключовим параметром виступає прогнозний коефіцієнт інтенсивності, що дозволяє завчасно коригувати вагові коефіцієнти маршрутизації між вузлами кластера. Детально описано архітектуру розробленого програмного прототипу, що інтегрується на рівні API Gateway. Прототип включає модуль збору метрик телеметрії в реальному часі (через Prometheus), блок інтелектуального предиктора та адаптивний контролер маршрутизації. Експериментальна перевірка проводилася в хмарному середовищі Kubernetes із застосуванням інструментів навантажувального тестування Locust. На основі отриманих даних доведено, що запропонована інтелектуальна модель забезпечує зниження 99-ї процентилі затримки (latency) на 42 % та стабілізацію частки помилок з кодами 5xx на рівні, що не перевищує 0,2 %. Окрему увагу приділено оцінці обчислювальних накладних витрат (overhead) на роботу нейромережевого модуля. Встановлено, що додаткова затримка у 3 – 5 мс на формування прогнозу повністю нівелюється за рахунок відсутності черг на обробку запитів у періоди пікової активності. Результати дослідження підтверджують, що впровадження проактивних методів на основі ML є критично важливим для побудови відмовостійких API-інтеграційних систем. Запропонований підхід дозволяє не лише покращити якість обслуговування користувачів (QoS), а й оптимізувати використання хмарної інфраструктури, запобігаючи надмірному виділенню ресурсів. Сформульовано перспективи подальших розробок, які полягають у застосуванні навчання з підкріпленням (Reinforcement Learning) для створення систем, що здатні до повної самоорганізації та автоматичного налаштування параметрів балансування без участі адміністратора, а також у дослідженні трансформерних архітектур для аналізу семантичного контексту API-запитів.