Метод динамічного оптимального розподілу потоку звернень у багатосерверних інтерактивних системах

Abstract

The paper presents a dynamic optimal method of request flows distribution in multi-server interactive systems aimed at achieving adaptive load balancing under conditions of non-stationary and unpredictable traffic. The proposed approach ensures real-time adjustment of the request flow among parallel servers based on the current load coefficients, thereby maintaining system stability and minimizing the probability of overloads. A structural-functional model of the proposed method is developed, consisting of modules for traffic smoothing, dynamic demultiplexing, and load equalization across the server line. A modified version of the “token bucket” algorithm is introduced to convert a non-stationary and pulsating incoming flow into quasi-stationary traffic segments that can be processed by discrete control mechanisms. The model continuously measures instantaneous load parameters for each server and performs iterative redistribution of queued requests between overloaded and underloaded nodes. In case of critical congestion, additional servers can be automatically activated, while in periods of low intensity, redundant servers are temporarily deactivated to optimize resource utilization. The proposed method can be applied to the design of real-time systems, cloud data centers, VoIP and IoT platforms, and 5G core networks, maintaining stable performance under variable loads is a critical requirement. The approach enhances system scalability, reduces latency and request loss probability, and provides a foundation for implementing intelligent software-based controllers for adaptive load balancing. The proposed software implementation confirmed the efficiency of the developed method for dynamic optimal distribution of the requests flow in multi-server interactive systems. The algorithm provides adaptive load balancing, reduces the probability of overloads and loss of requests, and can also be integrated into real-time systems, SDN platforms, VoIP servers or data centers.

Запропоновано динамічний оптимальний метод розподілу потоків запитів у багатосерверних інтерактивних системах, спрямований на забезпечення адаптивного балансування навантаження в умовах нестаціонарного та непередбачуваного трафіку. Запропонований підхід забезпечує коригування розподілу потоку запитів між паралельними серверами в реальному часі на основі поточних коефіцієнтів навантаження, що дозволяє підтримувати стабільність системи та мінімізувати ймовірність перевантажень. Розроблено структурно-функціональну модель запропонованого методу, яка складається з модулів згладжування трафіку, динамічного демультиплексування та вирівнювання навантаження по серверній лінії. Запропоновано модифіковану версію алгоритму “token bucket”, призначену для перетворення нестаціонарного та пульсуючого вхідного потоку у квазістаціонарні сегменти трафіку, що можуть оброблятися дискретними механізмами керування. Модель здійснює безперервне вимірювання миттєвих параметрів навантаження кожного сервера та виконує ітеративний перерозподіл черг запитів між перевантаженими та недовантаженими вузлами. У разі критичного перевантаження можливе автоматичне підключення додаткових серверів, тоді як у періоди низької інтенсивності надлишкові сервери тимчасово деактивуються з метою оптимізації використання ресурсів. Запропонований метод може бути використаний під час проєктування систем реального часу, хмарних центрів оброблення даних, VoIP- та IoT-платформ, а також ядер мереж 5G, для яких підтримання стабільних показників продуктивності за змінних навантажень є критично важливою вимогою. Підхід підвищує масштабованість системи, зменшує затримку та ймовірність втрати запитів, а також створює підґрунтя для впровадження інтелектуальних програмних контролерів адаптивного балансування навантаження. Програмна реалізація підтвердила ефективність розробленого методу динамічного оптимального розподілу потоків запитів у багатосерверних інтерактивних системах. Алгоритм забезпечує адаптивне балансування навантаження, знижує ймовірність перевантажень і втрати запитів та може бути інтегрований у системи реального часу, SDN-платформи, VoIP-сервери або центри оброблення даних.