The survey on watermarking methods for proactive defense against deepfake

Abstract

З розвитком генеративних моделей контент, створений за допомогою deepfakeтехнологій, стає все складніше відрізнити від реальності і разом з цим пасивні методи визначення згенерованого контенту стають все більш неефективними. Зловмисне використання засобів для генерації контенту надає зловмисникам можливості для соціальної інженерії, дезінформаційних кампанії та шахрайства. В зв’язку з цим виникає необхідність в новому класі інструментів, заснованих на попередньому маркуванні автентичного контенту, щоб захистити його від використання у deepfake-контенті або дезінформаційних кампаній. У цьому дослідженні ми проводимо комплексний аналіз рішень для водяних знаків (вотермаркінг) з метою проактивного захисту від deepfake. Ми ідентифікували основні рішення для вотермаркінгу, що стійкі до deepfake, які представлені в науковій літературі та створили таксономію для них. Також ми визначили основні метрики та датасети для тренування моделей вотермаркінгу на базі глибинного машинного навчання для проактивного захисту від deepfake. Ми провели кількісний та якісний аналіз існуючих рішень, їх методів, метрик та застосувань. В кінці ми проаналізували існуючі проблеми та виклика в даній сфері. Даний огляд може слугувати основою для майбутніх досліджень та впровадження політики для генеративного ШІ.

As generative models advance, deepfake content is becoming indistinguishable from reality and passive forensic detection methods are becoming increasingly ineffective. The misuse of generative tools provide for adversaries opportunities for social engineering, disinformation campaigns and fraud. This requires a new class of forensics tools based on the preemptive marking of authentic content in order to defend it from being used for deepfake media generation or disinformation campaigns. In this survey we provide a comprehensive analysis of watermarking solutions for the purpose of proactive defense from deepfake. We identified most of the existing deepfake watermarking solutions in literature and provided taxonomy for them. Also we identified core metrics and datasets for training deep learning models for proactive defense watermarking. We make quantitative and qualitative comparisons of existing solutions, their methods, metrics and purposes. In the end we provide a summary of open problems and challenges in the field. This survey lays a foundation for future development of proactive deepfake defense methods and policies for generative AI compliance.