Високопродуктивне нейромережеве зафарбовування тривимірних фігур на основі моделі PIX2PIX

Abstract

У статті розроблено двоетапну систему з генеративних нейромереж для зафарбовування тривимірних фігур. Проаналізовано переваги й недоліки стандартних підходів до рендерингу тривимірних зображень. Опи- сано особливості нейронного рендерингу. Розглянуто нейромережеві напрями генерації зафарбованих зобра- жень із геометричних даних фігур і двовимірних ескізів, отримання геометричних даних із зображень. Опи- сано особливості будови й використання генеративних змагальних нейромереж для формування зображень. Обґрунтовано необхідність розробки нових методів нейронного рендерингу для підвищення продуктивності зафарбовування поверхонь тривимірних фігур. Описано запропоновану систему нейромережевого зафарбову- вання фігур, що включає моделі Pix2Pix, для формування зображень і покращення їх якості. Розроблено набір для тренування нейромережі на основі масиву фігур ShapeNet. Запропоновано об’ємне подання інформації про вершини фігури, що використовується на вході нейромережевої системи. Описано архітектури генератора й дискримінатора Pix2Pix для зафарбовування фігур. Наведено інформацію про тривалість тренування ней- ромережі та використані метрики похибки. Побудовано графік зміни похибок дискримінатора й генератора під час тренування Pix2Pix для зафарбовування фігур. За допомогою метрики SSIM і тестового набору фігур обчислено рівень якості генерації зображень. Описано архітектури генератора та дискримінатора Pix2Pix для покращення якості й масштабування генерованих зображень. Побудовано графік зміни метрик поми- лок генератора та дискримінатора під час тренування Pix2Pix для підвищення якості зображень. Наведено приклади згенерованих двоетапною нейромережевою системою зображень зафарбованих фігур. На основі метрики SSIM оцінено якість згенерованих на другому етапі системи зображень. Порівняно швидкість зафарбовування фігур за допомогою запропонованої системи й рендера Blender Eevee. Розроблена нейромере- жева система дає змогу генерувати реалістичні зображення та підвищити продуктивність зафарбовування поверхонь фігур.