Високопродуктивне нейромережеве зафарбовування тривимірних фігур на основі моделі PIX2PIX

Abstract

У статті розроблено двоетапну систему з генеративних нейромереж для зафарбовування тривимірних фігур. Проаналізовано переваги й недоліки стандартних підходів до рендерингу тривимірних зображень. Описано особливості нейронного рендерингу. Розглянуто нейромережеві напрями генерації зафарбованих зображень із геометричних даних фігур і двовимірних ескізів, отримання геометричних даних із зображень. Описано особливості будови й використання генеративних змагальних нейромереж для формування зображень. Обґрунтовано необхідність розробки нових методів нейронного рендерингу для підвищення продуктивності зафарбовування поверхонь тривимірних фігур. Описано запропоновану систему нейромережевого зафарбовування фігур, що включає моделі Pix2Pix, для формування зображень і покращення їх якості. Розроблено набір для тренування нейромережі на основі масиву фігур ShapeNet. Запропоновано об’ємне подання інформації про вершини фігури, що використовується на вході нейромережевої системи. Описано архітектури генератора й дискримінатора Pix2Pix для зафарбовування фігур. Наведено інформацію про тривалість тренування нейромережі та використані метрики похибки. Побудовано графік зміни похибок дискримінатора й генератора під час тренування Pix2Pix для зафарбовування фігур. За допомогою метрики SSIM і тестового набору фігур обчислено рівень якості генерації зображень. Описано архітектури генератора та дискримінатора Pix2Pix для покращення якості й масштабування генерованих зображень. Побудовано графік зміни метрик помилок генератора та дискримінатора під час тренування Pix2Pix для підвищення якості зображень. Наведено приклади згенерованих двоетапною нейромережевою системою зображень зафарбованих фігур. На основі метрики SSIM оцінено якість згенерованих на другому етапі системи зображень. Порівняно швидкість зафарбовування фігур за допомогою запропонованої системи й рендера Blender Eevee. Розроблена нейромережева система дає змогу генерувати реалістичні зображення та підвищити продуктивність зафарбовування поверхонь фігур.