Виявлення аномалій у відеопотоці трафіку транспорту засобами комп’ютерного зору та глибинного навчання

Abstract

The article considers the problem of detecting anomalies in the video stream from traffic surveillance cameras, which is an important element of modern intelligent transport systems. An object-centric approach “detector-tracker-analyzer of anomalies” is proposed, which provides increased reliability of automatic detection of anomalous events, in particular, driv-ing at a prohibitory traffic light signal, speeding, emergency braking and prolonged stay in the intersection zone. The method is based on the modern object detector YOLOv8n, which is characterized by high processing speed and acceptable accura-cy for real-time tasks, as well as the OC-SORT tracker, which demonstrates increased resistance to short-term occlusions and reduces the number of false associations in a dense traffic flow. To determine the speed characteristics of vehicles, a homographic transformation was used taking into account the camera calibration, which made it possible to correctly trans-late the coordinates of objects into the world system.To test the efficiency of the approach, the proprietary dataset based on open source videos (Friant Roulette channel, California) was generated, containing both normal and abnormal situations. A total of 160 video fragments were used. The experiments demonstrated that the use of the combination of YOLOv8n + OC-SORT provides higher accuracy compared to the basic combination of YOLOv8n + SORT, which is confirmed by the increase in the Matthews correlation coefficient (MCC) values. The best results were obtained for anomalies such as “running a red light” (MCC = 0.909) and “being in the intersection zone” (MCC = 0.881). The results for “speeding” (MCC = 0.815) and “emergency braking” (MCC = 0.505) were somewhat worse, which is explained by the sensitivity to the quality of the video stream, viewing angle and camera stability.The developed approach is promising for the integration into intelligent traffic monitoring systems, as it allows automat-ing the process of detecting violations and reducing the workload on operators. Further development directions include the optimization of the detector model architecture, using re-identification modules to reduce the number of false associations, improving speed estimation algorithms, and expanding the list of anomalies, such as pedestrians on the roadway or prohib-ited parking.Розглянуто задачу виявлення аномалій у відеопотоці з камер спостереження за транспортним трафіком, що є важливим елементом сучасних інтелектуальних транспортних систем. Запропоновано об’єкто-центричний підхід «детектор–трекер–аналізатор аномалій», який забезпечує підвищення надійності автоматичного виявлення аномальних подій, зокрема проїзду на заборонний сигнал світлофора, перевищення швидкості, аварійного гальмування та тривалого перебування у зоні перехрестя. В основі методу використано сучасний детектор об’єктів YOLOv8n, який характеризується високою швидкістю обробки та прийнятною точністю для задач реального часу, а також трекер OC-SORT, який демонструє підвищену стійкість до короткочасних оклюзій і зменшує кількість хибних асоціацій у щільному транспортному потоці. Для визначення швидкісних характеристик транспортних засобів застосовано гомографічне перетворення з урахуванням калібрації камери, що дало можливість коректно переводити координати об’єктів у світову систему. Для перевірки працездатності підходу сформовано власний датасет на основі відео з відкритих джерел (канал Friant Roulette, Каліфорнія), що містить як нормальні, так і аномальні ситуації. В цілому використано 160 відеофрагментів. Проведені експерименти продемонстрували, що використання комбінації YOLOv8n + OC-SORT забезпечує вищу точність порівняно з базовим поєднанням YOLOv8n + SORT, що підтверджується зростанням значень кореляційного коефіцієнта Меттьюза (MCC). Найкращі результати отримано для аномалій типу «проїзд на червоне світло» (MCC = 0,909) та «перебування у зоні перехрестя» (MCC = 0,881). Дещо гіршими виявилися результати для «перевищення швидкості» (MCC = 0,815) та «аварійного гальмування» (MCC = 0,505), що пояснюється чутливістю до якості відеопотоку, кута огляду та стабільності камери. Розроблений підхід є перспективним для інтеграції в інтелектуальні системи моніторингу дорожнього руху, оскільки дозволяє автоматизувати процес виявлення порушень та знизити навантаження на операторів. Подальші напрями розвитку включають оптимізацію архітектури моделі детектора, застосування модулів реідентифікації для зменшення кількості помилкових асоціацій, удосконалення алгоритмів оцінки швидкості та розширення переліку аномалій, наприклад, пішоходи на проїжджій частині чи заборонене паркування.