Виявлення промо-елементів у відеорекламі соціальних мереж на основі OCR та LLM

Abstract

Рекламні відео в соціальних мережах часто містять промо-елементи у вигляді накладеного тексту (знижки, ціни, дедлайни акцій, умови пропозиції), які є критичними для аналітики кампаній та коректного маркування контенту. Автоматичне вилучення таких даних ускладнюється короткочасністю появи тексту, різноманіттям шрифтів і мов, а також артефактами стиснення відео. Запропоновано підхід до структурованого маркування промо-атрибутів на основі поєднання OCR для вилучення текстових фрагментів з кадрів [1] та великих мовних моделей (LLM) для семантичної інтерпретації й нормалізації значень у контрольовану схему з інструкційним форматом відповіді [3], [4]. Описано компоненти конвеєра обробки, модель даних промо-сутностей і механізми валідації, що підвищують відтворюваність результатів.Social media video ads frequently include promotional overlays (discounts, prices, deadlines, and offer conditions) that are essential for campaign analytics and reliable content labeling. Automated extraction is challenged by short on-screen durations, multilingual typography, and compression artifacts. This paper proposes a structured labeling approach that combines OCR for frame-level text extraction [1] with LLM-based semantic interpretation and normalization into a controlled schema via instruction-following inference [3], [4]. The processing pipeline, promo-entity data model, and validation mechanisms are described to improve reproducibility.