The overview of neural rendering

Abstract

У статті проаналізовано використання нейронних мереж для підвищення ефективності рендерингу зображень. Описано основні характеристики найпопулярніших архітектур нейронних мереж. Проаналізовано загальні сфери застосування нейронного рендерингу. Розглянуто приклад нейронної мережі для генерації трикутної сітки. Описано нейронну реалізацію системи рендерингу загалом. Описано використання нейронних мереж для генерації текстур із фотографій та перенесення стилю текстур. Наведено основні особливості подання моделей відбивання у вигляді нейронної мережі. Проаналізовано можливість навчання нейронною мережею формули моделі відбивання. Наведено інформацію про використання нейронних мереж для покращення якості зображення шляхом згладжування (антиаліасингу) та визначення оптимальної кількості полігонів поверхні. Розглянуто застосування зворотного нейронного рендерингу на прикладі полігональної реконструкції об’єкта із зображення. Характерною особливістю проведеного огляду нейронного рендерингу є його зосередженість на окремих етапах візуалізації тривимірних сцен

In the article the usage of neural networks for increasing image rendering efficiency was analyzed. The main characteristics of the most popular neural networks architectures are described. The common application areas of neural rendering are analyzed. The example of neural network for triangular mesh generation is examined. The neural implementation of the rendering system in overall is described. The neural networks usage for generating textures from photo and textures style transfer is described. The main features of reflectance models representation in the neural network form are given. The possibility of reflectance model formula learning by the neural network is analyzed. The information about neural networks usage for improving the image quality by anti-aliasing and determining the optimal surface polygon number is provided. The application of reverse neural rendering is examined using the example of object’s polygonal reconstruction from the image. The characteristic feature of conducted neural rendering overview is its concentration on separate stages of three-dimensional scenes visualization