Інтеграція адаптивних моделей навчання з підкріпленням у керування аграрними дронами

Abstract

Запропоновано інтегрований підхід до реалізації адаптивного оброблення сільськогосподарських культур за допомогою безпілотних літальних апаратів (БПЛА), що базується на методах навчання з підкріпленням (Reinforcement Learning, RL), зокрема на алгоритмі Proximal Policy Optimization (PPO). Основнууваг уприділленопрактичному впровадженню математичних моделей у симуляційні та onboard-середовища керування дронами. Показано, як моделі похибки покриття, втрат препарату та стохастичного вітру можуть бути формалізовані у reward-функцію та враховані під час симуля-ційного навчання агента. Алгоритм PPO реалізовано у середовищі AirSim з використанням бібліоте-ки Stable-Baselines3. Агента навчено на основі множини змінних вхідного стану, таких як положення, вітровий вплив, густота посівів та карта покриття. Навчання проводилося поетапно — від умов зі слабким вітром до поривчастого, з подальшою адаптацією політики для реального onboard-викона-ння. Стратегію експортовано у форматі ONNX та оптимізовано під NVIDIA Jetson Nanoчерез Ten-sorRT, що дозволило використовувати агент у реальному часі без перевантаження системи. Про-грамну реалізацію протестовано як у симуляційних середовищах (AirSim, Gazebo), так і на фізичній платформі PX4 SITL. Проведено серію експериментів, які включали моделювання обприскування за умов змінного вітру (2...14 м/с) та порівняння з класичними алгоритмами керування. Результати засвідчили зменшення середньої похибки покриття до 30% та зниження втрат препарату до 28% у порівнянні з фіксованими стратегіями. Особливістю підходу є його гнучкість і практичність: вперше представлено повний цикл розроблення — від формалізації математичної моделі до її навчання, реа-лізації в onboard-системі та валідації в реальних умовах. Такожпо дано скріншоти навчального проце-су, симуляційного середовища, кривих збіжності помилки та GUI Gazebo, що забезпечують прозо-рість методології та можуть бути використані як еталон для інших дослідників. Робота сприяє подальшому розвитку автономних рішень у точному землеробстві та закладає основу для застосування самонавчальних моделей у польових умовах.

This paper presents an integrated approach to adaptive agricultural spraying using unmanned aerial vehicles (UAVs), leveraging reinforcement learning (RL) techniques, particularly the Proximal Policy Optimization (PPO) algorithm. The study focuses on the practical implementation of mathematical models in simulation and onboard control systems. It demonstrates how spray coverage error, chemical loss, and stochastic wind models can be formalized into a reward function and incorporated during RL agent training. The PPO algorithm was implemented using the Stable-Baselines3 library in the AirSim simulator. The agent was trained based on a complex input state vector, including position, wind velocity, crop density, and coverage maps. The training was carried out in stages, starting with low wind conditions and gradually increasing to gusty wind scenarios. The resulting policy was exported in ONNX format and optimized for real-time execution via TensorRT on an NVIDIA Jetson Nano platform, enabling efficient inference onboard the drone. The developed solution was tested in both simulation environments (AirSim, Gazebo) and a physical PX4 SITL platform. A series of experiments were conducted with simulated wind intensities ranging 2 to 14 m/s. The proposed RL-based adaptive spraying strategy was compared with traditional fixed-parameter control methods. Results showed a reduction in average coverage error by up to 30 % and a decrease in chemical losses by 28 %, confirming the agent’s ability to adapt in real time. A key feature of this approach is its end-to-end practicality: for the first time, a complete development pipeline is presented — mathematical modeling and training to onboard deployment and real-world validation. The article includes screenshots of the training process, simulated environments, error convergence curves, and the Gazebo GUI, offering transparency and reproducibility for future researchers. This work contributes to the advancement of autonomous precision agriculture systems and lays the groundwork for deploying self-learning UAVs in dynamic field environments.