Розробка програмно-апаратного комплексу керування мобільним роботом на основі алгоритму навчання з підкріпленням в середовищі Webots

Abstract

The article considers the application of reinforcement learning methods for solving the problem of autonomous navigation of mobile robots in a complex dynamic environment. The increasing complexity of robotic systems and the need for a high level of autonomy necessitate the use of intelligent control algorithms capable of adapting to uncertain conditions. Special attention is paid to deep reinforcement learning (DRL) methods, which combine the capabilities of neural networks and learning approaches through interaction with the environment. The paper analyzes current research and publications devoted to the use of DRL for trajectory planning, obstacle avoidance, and developing effective navigation strategies for mobile robots. An approach to training a robot for navigation in the Webots simulation environment is proposed, which allows safe and efficient experimental research. Reinforcement learning algorithms are used to implement the model, enabling the robot to gradually form an optimal behavior strategy based on an optimality criterion. Training occurs through repeated interaction of the robot with the environment, during which the system accumulates experience and improves decision-making quality. The paper describes the model structure, the principle of forming the reinforcement function, as well as the stages of training and testing the system. A series of experiments was conducted in the Webots simulation environment to evaluate the effectiveness of the proposed approach. Analysis of the experimental results shows stabilization of the agent's behavior during training. The obtained results confirm the model's ability to effectively find a path to the target point while avoiding obstacles and optimizing the trajectory. The proposed approach demonstrates the promise of using deep reinforcement learning methods for autonomous navigation tasks of mobile robots. The research results can be used for further improvement of intelligent robot control systems, as well as for the development of more complex robotic systems capable of operating in real-world conditions. Based on the results presented in the paper, a certificate of state registration of copyright for the computer program "Controller for controlling a mobile robot in the Webots environment based on a reinforcement learning algorithm" No. 142304 dated April 10, 2026 was obtained [1].

У статті розглянуто застосування методів навчання з підкріпленням для розв’язання задачі автономної навігації мобільних роботів у складному динамічному середовищі. Зростання складності робототехнічних систем та потреба у високому рівні автономності зумовлюють необхідність використання інтелектуальних алгоритмів керування, здатних адаптуватися до невизначених умов. Особливу увагу приділено методам глибокого навчання з підкріпленням (DRL), які поєднують можливості нейронних мереж і підходів навчання через взаємодію з середовищем. У роботі проведено аналіз сучасних наукових досліджень і публікацій, присвячених використанню DRL для задач планування траєкторії, уникнення перешкод і побудови ефективної навігаційної стратегії мобільних роботів. Запропоновано підхід до навчання робота навігації у віртуальному середовищі моделювання Webots, що дозволяє безпечно та ефективно проводити експериментальні дослідження. Для реалізації моделі використано алгоритми навчання з підкріпленням, що дає змогу поступово формувати оптимальну стратегію поведінки на основі критерію оптимальності. Навчання відбувається шляхом багаторазової взаємодії робота із середовищем, у процесі якої система накопичує досвід і покращує якість прийняття рішень. У роботі описано структуру моделі, принцип формування функції підкріплення, а також етапи навчання та тестування системи. Проведено серію експериментів у симуляційному середовищі Webots з метою оцінювання ефективності запропонованого підходу. Аналіз результатів експериментів показує стабілізацію поведінки агента в процесі навчання. Отримані результати підтверджують здатність моделі ефективно знаходити шлях до цільової точки, уникаючи перешкод і оптимізуючи траєкторію руху. Запропонований підхід демонструє перспективність використання методів глибокого навчання з підкріпленням для задач автономної навігації мобільних роботів. Результати дослідження можуть бути використані для подальшого вдосконалення інтелектуальних систем керування роботами, а також для розробки більш складних робототехнічних систем, здатних працювати в реальних умовах. За результатами, представленими у роботі, отримано свідоцтво про державну реєстрацію авторського права на комп’ютерну програму «Контролер керування мобільним роботом у середовищі Webots на основі алгоритму навчання з підкріпленням» № 145166 від 3.04.2026 [1].