Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією

Abstract

У статті представлено багаторівневу систему автоматичного керування місіями безпілотного літального апарата у задачах виявлення підозрілих предметів. Запропонована архітектура поєднує edge–ground–cloud обробку даних з бортової відеокамери та металодетектора, а також використання візуально-мовних моделей (ChatGPT-4.1 Vision, Gemini 2.5 Flash) для семантичної верифікації підозрілих предметів. На наземній станції виконується первинна детекція небезпечних предметів за допомогою YOLOv8 та аналіз сигналу металодетектора, після чого кадри з проміжною впевненістю надсилаються у хмару для додаткової перевірки VLM. На основі об’єднаної оцінки формується рішення про наявність небезпечного предмета, яке через MAVLink автоматично коригує місію БПЛА завдяки чому дрон переводиться з режиму AUTO в GUIDED, повертається за GPS-координатами підозри, виконує додаткове обстеження та після цього відновлює маршрут із збереженої точки. Експериментальні випробування на полігоні з макетами небезпечних предметів показали, що комбінування YOLOv8, металодетектора та VLM дозволяє досягти підвищення точності до ≈95,7% і збереженні роботи в режимі, близькому до реального часу (ефективно 5 кадрів/с). Наукова новизна роботи полягає в реалізації замкненого циклу «виявлення – семантична перевірка – автоматичне коригування місії» для БПЛА, що поєднує мультимодальне злиття даних і хмарні AI-моделі та знижує навантаження на оператора.

The article presents a multi-level automatic mission control system for an unmanned aerial vehicle designed to detect hazardous items in tasks involving the identification of suspicious objects. The proposed architecture combines edge–ground–cloud data processing the onboard video camera and metal detector, as well as the use of vision–language models (ChatGPT-4.1 Vision, Gemini 2.5 Flash) for semantic verification of suspected objects. At the ground station, initial detection of hazardous items is performed using YOLOv8 and metal-detector signal analysis. Frames with intermediate confidence are then sent to the cloud for additional verification by VLMs. Based on the combined assessment, a decision is generated regarding the presence of a hazardous item, which automatically adjusts the UAV mission via MAVLink: the drone is switched AUTO to GUIDED mode, returns to the GPS coordinates of the suspicion, performs additional inspection, and then resumes the mission the saved waypoint. Experimental field tests with mock-ups of hazardous items demonstrated that combining YOLOv8, the metal detector, and VLMs makes it possible to achieve increasing precision to approximately 95.7% and maintaining near-real-time performance (effective 5 fps). The scientific novelty of the work lies in implementing a closed loop of “detection – semantic verification – automatic mission correction” for UAVs, which integrates multimodal data fusion with cloud-based AI models and reduces operator workload.