Resource-aware test-time adaptation for mobile face anti-spoofing under SWAP constraints

Abstract

Face anti-spoofing (FAS) models for mobile authentication face a difficult deployment gap: they must remain robust under domain shift (camera, illumination, attack medium) while balancing biometric accuracy against strict speed, model-weight, and power-consumption limits (SWAP). Existing test-time methods improve cross-domain accuracy but ignore on-device resource limits and, more critically, can catastrophically degrade when source and target domains differ substantially. We propose a resource-aware test-time adaptation (RA-TTA) framework that s only normalization affine parameters, a compact classifier head, and class prototypes, and only when (a) drift is detected against calibrated source statistics, (b) pseudo-labels pass a confidence-and-augmentation reliability gate, and (c) a token-bucket budget controller permits adaptation under hard speed and power caps. Evaluated on OULU-NPU and Replay-Attack datasets with a deliberately challenging single-source 1 M-parameter MobileNetV3-Small backbone, RA-TTA delivers a 25% relative ACER reduction (4.83% vs 6.47%) on intra-domain data adaptation safely fires, while preserving source-model behaviour under extreme cross-domain shift (43.70% on OULU to Replay-Attack, identical to No-TTA) Tent collapses by 5.7% ACER. A drift-threshold sensitivity sweep validates the calibration heuristic. The runtime profile is deployment-class – 1.6 ms/3.04 mJ per frame on Samsung Galaxy S25, 3.83 ms/3.95 mJ on Galaxy A56, and 5.94 ms/6.27 mJ on entry-level Galaxy A17, with a 3.84 MB ONNX footprint – but cross-domain ACER at this scale is below production thresholds for security-critical face authentication. The contribution is the safety mechanism, not state of the art accuracy. Reaching production accuracy on the same backbone requires multi-source training, which is orthogonal to the adaptation-safety question this paper addresses.

Моделі захисту від підміни обличь (FAS) для мобільної автентифікації стикаються зі складним розривом між навчанням і розгортанням: вони повинні залишатися стійкими до зміщення доменів (камера, освітлення, носій атаки), одночасно балансуючи між біометричною точністю та обмеженнями на швидкість, розмір моделі та енергоспоживання (SWAP). Існуючі методи адаптації під час тестування покращують точність у міждоменних сценаріях, але ігнорують ресурсні обмеження пристрою, а ще критичніше – можуть катастрофічно деградувати, коли вихідний та цільовий домени суттєво відрізняються. Ми пропонуємо ресурсно-усвідомлену адаптацію при тестуванні (RA-TTA), яка оновлює лише афінні параметри нормалізації, компактний класифікаційний модуль і прототипи класів, і лише тоді, коли: (а) виявлено зміщення відносно каліброваної вихідної статистики; (б) псевдо-мітки проходять надійнісну фільтрацію за впевненістю та узгодженістю аугментацій; (в) бюджетний контролер типу token-bucket дозволяє адаптацію в межах жорстких обмежень за швидкістю та енергоспоживанням. На моделі MobileNetV3-Small (1 М параметрів) з одним вихідним доменом, оціненій на наборах даних OULU-NPU та Replay-Attack, RA-TTA забезпечує відносне зниження ACER на 25% (4.83% проти 6.47%) у внутрішньодоменних умовах, та зберігає поведінку вихідної моделі при екстремальному міждоменному зміщенні (43.70% на OULU до Replay-Attack), тоді як Tent деградує на 5.7% ACER. Профіль виконання моделі є придатним для розгортання – 1.61 мс/3.04 мДж на Samsung Galaxy S25, 3.83 мс/3.95 мДж на A56, 5.94 мс/6.27 мДж на A17, при розмірі 3.84 МБ – але міждоменна точність на такому масштабі моделі є нижчою за поріг для розгортання в реальних продуктах із безпекокритичною автентифікацією. Внеском є саме механізм адаптації безпеки, а не рекордна точність; досягнення точності продуктового рівня на такій архітектурі потребує багатоджерельного навчання, що не стосується проблеми, яку розглядає ця стаття.