Метод автоматичного виявлення ключових моментів у коротких відеозаписах на основі мультимодального аналізу

Abstract

У роботі досліджено та розроблено метод автоматичного виявлення ключових моментів у коротких відеозаписах для платформ соціальних мереж. Запропоновано мультимодальний підхід на основі пізнього злиття незалежних оцінок п'яти аналітичних каналів: аудіо-, відео-, емоційного, кольорового та текстового.

The paper investigates and develops a method for automated key moment detection in short video clips tailored for social media platforms. A multimodal approach is proposed based on the late fusion of independent scores from five analytical channels: audio, video, emotional, color, and textual. To aggregate numerical indicators, a per-video min-max normalization, one-dimensional Gaussian smoothing to eliminate isolated artifact peaks, and a sliding window algorithm of variable duration are applied. The software system is implemented as a microservice architecture using Go and Python, along with the RabbitMQ message broker and MySQL DBMS. Based on a user survey, a comparative and ablation evaluation of the system was conducted on a test dataset comprising video clips of various genres. The research results confirmed that the developed multimodal method demonstrates higher robustness to genre-specific content, outperforming single-modality baselines with an average rating and a win rate.