Система виявлення фейкового мультимедійного контенту

Abstract

У роботі розроблено мультимодальну систему детекції фейкового контенту, що поєднує аналіз візуальної та аудіальної інформації. Відеоаналіз здійснюється за допомогою нейронної мережі ResNet50 з використанням підходу перенавчання класифікаційної надбудови для розпізнавання автентичних та підроблених відео. Для аналізу аудіо застосовано модель Wav2Vec, яка дозволяє оцінювати ймовірність синтетичного мовлення на рівні часових сегментів. Підсумкове рішення щодо автентичності контенту формується на основі диз’юнктивного правила прийняття рішень, згідно з яким мультимедійний об’єкт класифікується як фейковий у разі виявлення ознак підробки хоча б в одній із модальностей.

This paper presents a multimodal system for fake content detection that combines the analysis of visual and audio information. Video analysis is performed using a ResNet50 neural network with a fine-tuned classification head for distinguishing between authentic and manipulated videos. Audio analysis is based on the Wav2Vec model, which enables the estimation of synthetic speech probability at the level of fixed time segments. The final decision on content authenticity is made using a disjunctive decision rule, according to which a multimedia object is classified as fake if signs of manipulation are detected in at least one of the modalities.