Система корекції інерційної навігації БПЛА на основі глибокого навчання для зіставлення зображень з камери та супутникових знімків

Abstract

Reliable navigation of unmanned aerial vehicles (UAVs) is a critical function that relies heavily on GNSS signals. In electronic warfare (EW) environments, these signals are suppressed, leading to the loss of vehicles due to the uncontrolled accumulation of errors in onboard inertial navigation systems (INS). Existing visual localization methods are often computationally expensive and suboptimal for rural landscapes. The aim of this work is the development and experimental validation of a computationally efficient hybrid autonomous geolocation system capable of correcting INS errors by matching images an onboard camera with reference satellite imagery, with a focus on viability for low-resource onboard platforms. A hybrid method combining INS data with discrete correction a deep learning module is proposed. A custom dataset of flights in rural areas was collected and labeled. A comparative analysis of CNN architectures (VGG11, MobileNetV2, ResNet18) and loss functions for the cross-modal matching task was performed. The accuracy and performance of the final model were validated on a Raspberry Pi single-board computer. It was experimentally demonstrated that Triplet Loss, thanks to its mechanism of ing "negative" examples, forces the model to learn discriminative features, enabling it to distinguish visually similar areas of the landscape. In comparative testing of architectures, the VGG11 model trained with Triplet Loss showed the best accuracy, outperforming MobileNetV2 and ResNet18. When testing the correction mechanism with a simulated initial 10-meter INS drift, the VGG11-based system achieved an average error of 5.4 meters, successfully calculating the correction vector. On a real test route of 200 m, the maximum error of the unmanaged INS reached 15.2 m, the proposed system reduced the maximum deviation to 8.5 m. Performance validation on a Raspberry Pi 4 confirmed computational suitability: a full correction cycle for a 224x224 image takes 2.5 seconds, and 10 seconds for 448x448, which is acceptable for periodic (non-continuous) coordinate refinement.

Надійна навігація безпілотних літальних апаратів (БПЛА) є критичною функцією, що значною мірою покладається на сигнали GNSS. В умовах радіоелектронної боротьби (РЕБ) ці сигнали пригнічуються, що призводить до втрати апаратів через неконтрольоване накопичення похибки бортових інерційних навігаційних систем (INS). Наявні візуальні методи локалізації часто є обчислювально-витратними та неоптимальними для заміських ландшафтів. Метою роботи є розробка та експериментальна валідація обчислювально-ефективної гібридної системи автономної геолокалізації, здатної коригувати похибку INS шляхом зіставлення зображень з бортової камери та референсних супутникових знімків, з фокусом на життєздатність на низькоресурсних бортових платформах. Запропоновано гібридний метод, що поєднує дані INS з дискретною корекцією від модуля глибокого навчання. Проведено збір та розмітку власного набору даних польотів у заміській місцевості. Виконано порівняльний аналіз архітектур CNN (VGG11, MobileNetV2, ResNet18) та функцій втрат для задачі крос-модального зіставлення. Точність та продуктивність фінальної моделі валідовано на одноплатному комп&039;ютері Raspberry Pi. Експериментально показано, що Triplet Loss, завдяки механізму відбору «негативних» прикладів, змушує модель вивчати диференційовані ознаки, що дозволяє розрізняти візуально схожі ділянки ландшафту. У порівняльному тестуванні архітектур, модель VGG11, навчена з Triplet Loss, показала найкращу точність, перевершивши MobileNetV2 та ResNet18. Під час тестування механізму корекції з симульованим початковим 10-метровим дрейфом INS, система на основі VGG11 досягла середньої похибки 5,4 метри, успішно обчислюючи вектор корекції. На реальному тестовому маршруті довжиною 200 м, де максимальна похибка некерованої INS досягла 15,2 м, запропонована система зменшила максимальне відхилення до 8,5 м. Валідація продуктивності на Raspberry Pi 4 підтвердила обчислювальну придатність: повний цикл корекції для зображення 224´224 становить 2,5 секунди, а для 448´448 — 10 секунд, що є прийнятним для періодичного (непостійного) уточнення координат.