Розробка програмних засобів для системи відстеження рухомих об’єктів у відео

Abstract

Відстеження декількох об'єктів складається з виявлення та ідентифікації об'єктів у відео. У деяких додатках, таких як робототехніка та спостереження, бажано, щоб відстеження проводилося в режимі реального часу. Це створює проблему в тому, щоб алгоритм працював так само швидко, як частота кадрів відео. Сьогодні найбільш ефективні методи відстеження працюють лише з декількома кадрами в секунду, тому їх не можна використовувати в режимі реального часу. Один із способів запуску методу в режимі реального часу - це не дивитись на кожен кадр, а пропускати кадри, щоб відео отримало таку ж частоту кадрів, як метод відстеження. Однак ми віримо, що це призведе до зниження продуктивності. У цьому проекті я реалізую декілька об'єктних трекерів, слідуючи парадигмі відстеження за виявленням, як розширення існуючого методу. Він працює за допомогою моделювання руху об’єктів шляхом вирішення проблеми фільтрації та асоціювання виявлення з передбачуваними новими місцями в нових кадрах за допомогою угорського алгоритму. Використовуються три різні подібності, які використовують розташування та форму обмежувальних боксів. Порівняно з іншими трекерами в таблиці MOTChallenge, наш метод, який називається C ++ SORT, є найшвидшим поданням, а також досягає гідних балів за іншими показниками. Запускаючи нашу модель на наборі даних вибірки з різною швидкістю кадрів, ми показуємо, що продуктивність значно знижується при запуску моделі включаючи виявлення об'єктів у режимі реального часу. У більшості показників оцінка знижується на 50%, але в деяких випадках на 90%. Це вказує на те, що інші, повільніші методи не можуть бути використані для відстеження в режимі реального часу, але для цього потрібно конкретніше дослідження.

Multiple object tracking consists of detecting and identifying objects in video. In some applications, such as robotics and surveillance, it is desired that the tracking is performed in real-time. This poses a challenge in that it requires the algorithm to run as fast as the frame-rate of the video. Today’s top performing tracking methods run at only a few frames per second, and can thus not be used in real-time. I propose that one way of running a method in real-time is to not look at every frame, but skip frames to make the video have the same frame-rate as the tracking method. In this project, I implement a multiple object tracker, following the tracking-by detection paradigm, as an extension of an existing method. It works by modelling the movement of objects by solving the filtering problem, and associating detections with predicted new locations in new frames using the Hungarian algorithm. Three different similarity measures are used, which use the location and shape of the bounding boxes. Compared to other trackers on the MOTChallenge leaderboard, our method, referred to as C++SORT, is the fastest submission, while also achieving decent score on other metrics. By running our model on the dataset, sampled at different frame-rates, we show that the performance is greatly reduced when running the model including detecting objects in real time. In most metrics, the score is reduced by 50%, but in certain cases as much as 90%. This indicates that others, trusting methods, can’t be used for real-time tracking, but that needs to be specifically investigated