Self-Supervised Multimodal 3-D Garment Reconstruction from a Single Consumer Image for Energy-Efficient Virtual Try-On Systems

Abstract

Точна 3D-реконструкція одягу з одного зображення споживчого рівня залишається критичною перешкодою на шляху до справді імерсивних і ресурсоощадних систем віртуальної примірки. Ми представляємо самокероване мультимодальне конвеєрне рішення, що поєднує візуальні токени, виділені Vision Transformer, із текстовими дескрипторами одягу для синтезу високоточної геометрії та текстури тканини в умовах жорстких обмежень енергоспоживання мобільних нейропроцесорних блоків (NPU). Гібридний модуль латентної дифузії генерує псевдосітки, які керують навчанням легкого Mesh-Autoencoder з INT8-квантуванням, усуваючи тим самим залежність від великих анотованих корпусів 3D-сканів. Щоб компенсувати обмеженість реальних даних, ми створили SyntheCloth-300K — набір даних, що поєднує знімки CLO-3D із синтетичними варіаціями на основі PhysX, і використовуємо його для спільного візуально-текстового навчання. На еталонному наборі DeepFashion3D наш метод зменшує відстань Чамфера на 18 % і покращує SSIM на 0,03 порівняно з DressCode-NeRF, підтримуючи 21 FPS за 0,32 мДж на вершину на Snapdragon 8 Gen 3 — утричі підвищуючи енергоефективність попередніх рішень. Якісні результати демонструють надійну реконструкцію дрібних складок і драпірування тканини навіть за сильної самоокклюзії. Таким чином, запропонована структура поєднує комп’ютерний зір, фізично обґрунтовану графіку та вбудовану оптимізацію, закладаючи основу для додатків віртуальної примірки наступного покоління безпосередньо на пристрої.Accurate 3-D reconstruction of garments a single consumer-grade image remains a critical barrier to truly immersive and resource-aware virtual try-on systems. We introduce a self-supervised, multimodal pipeline that fuses visual tokens extracted by a Vision Transformer with textual garment descriptors to synthesise high-fidelity cloth geometry and texture while operating within the stringent power envelope of mobile neural-processing units (NPUs). A hybrid latent-diffusion module generates pseudo-meshes that supervise a lightweight INT8-quantised Mesh-Autoencoder, thereby eliminating the dependence on large annotated 3-D-scan corpora. To compensate for limited real data we construct SyntheCloth-300K, a dataset blending CLO-3D captures with PhysX-driven synthetic variations, and use it for joint visual–textual training. On the DeepFashion3D benchmark our method reduces Chamfer-Distance by 18% and improves SSIM by 0.03 over DressCode-NeRF, while sustaining 21 FPS at 0.32mJvertex−1 on a Snapdragon 8 Gen 3 — tripling the energy efficiency of prior art. Qualitative results reveal robust reconstruction of fine pleats and fabric drape, even under severe self-occlusion. The proposed framework thus bridges computer vision, physically based graphics, and embedded optimisation, laying the groundwork for next-generation, on-device virtual fitting applications.