Generative models for the synthesis of three-dimensional objects

Abstract

У розділі розглянуто сучасні генеративні моделі, що використовуються для синтезу тривимірних об’єктів, і проаналізовано їхній потенціал для автоматизованого створення складного 3D-контенту. Особливу увагу приділено нейромережевим підходам, здатним генерувати тривимірну геометрію з текстових описів, зображень, хмар точок, воксельних представлень та інших форм вхідних даних. Принципи роботи генеративно-змагальних мереж, варіаційних автокодувальників, дифузійних моделей і архітектур на основі трансформерів розглянуто в контексті синтезу 3D-об’єктів. Описано основні етапи генеративного конвеєра, зокрема попереднє опрацювання даних, виділення ознак, подання в латентному просторі, генерацію геометрії, формування текстур і постобробку отриманих моделей. Проаналізовано переваги та обмеження різних підходів щодо геометричної точності, візуального реалізму, обчислювальної складності, вимог до навчання та можливості керування згенерованим результатом. Особливу увагу приділено сучасним методам поліпшення якості згенерованих полігональних моделей, сіток, неявних поверхонь і нейронних представлень. Дослідження демонструє, що генеративний штучний інтелект суттєво скорочує час, потрібний для створення тривимірного контенту, і уможливлює автоматизацію кількох етапів традиційного 3D-моделювання. Розглянуті технології мають значний потенціал для комп’ютерної графіки, віртуальної та доповненої реальності, автоматизованого проєктування, симуляції, цифрових розваг, освіти та інженерних застосувань.

The chapter examines modern generative models used for the synthesis of three-dimensional objects and analyzes their potential for automated creation of complex 3D content. Particular attention is paid to neural network approaches capable of generating three-dimensional geometry textual descriptions, images, point clouds, voxel representations, and other forms of input data. The principles of operation of generative adversarial networks, variational autoencoders, diffusion models, and transformer-based architectures are considered in the context of 3D object synthesis. The main stages of the generative pipeline are described, including data preprocessing, feature extraction, latent-space representation, geometry generation, texture formation, and post-processing of the resulting models. The advantages and limitations of different approaches are analyzed with respect to geometric accuracy, visual realism, computational complexity, training requirements, and the possibility of controlling the generated result. Special attention is given to current methods for improving the quality of generated polygonal models, meshes, implicit surfaces, and neural representations. The study demonstrates that generative artificial intelligence significantly reduces the time required for creating three-dimensional content and enables the automation of several stages of traditional 3D modeling. The considered technologies have considerable potential for computer graphics, virtual and augmented reality, computer-aided design, simulation, digital entertainment, education, and engineering applications.