A Comprehensive Study of Autoencoders` Applications Related to Images

Abstract

Ця стаття містить комплексне дослідження застосувань автокодувальників, пов'язаних із зображеннями. Спочатку описано класичний автокодувальник разом з деталями його архітектури та процедури навчання. Потім викладено основні методи його регуляризації, як-от відсів (dropout) та адитивний гауссів шум. Показано застосування автокодувальників, таких як морфінг, реконструкція та пошук зображень. Далі висвітлено варіаційний автокодувальник (VAE). Описано його основні застосування, як-от виявлення викидів і генерування зображень. Нарешті, показано, що використання «розігріву» для VAE щодо KL-втрат дає значно правдоподібніші результати в генеруванні зображень.

This article incorporates a comprehensive study of autoencoders` applications related to images. First of all, a vanilla autoencoder is described along with details of its architecture and training procedure. Secondly, main methods for regularization of it are exposed, such as dropout and additive gaussian noise. The applications of autoencoders such as image morphing, reconstruction and search are shown. Then, the VAE (variational autoencoder) is highlighted. Main applications of it such as outliers detection and image generation are described. Finally, it`s shown that using warm-up for VAE with respect to KL loss gives much more plausible results in terms of image generation.