Practical aspects of forming training/test samples for convolutional neural networks

Abstract

Проаналізовані найбільш поширені підходи до оцінки якості навчання нейронних мереж у розрізі проблеми «малих навчальних вибірок». Проведений огляд кодових імплементацій найбільш універсальних підходів та способів розширення навчальних/тестових вибірок. Розглянуто логіку роботи STN-модуля, що може бути інкапсульований в існуючі згорткові нейронні мережі (СNN), надаючи можливість активного перетворення мапи ознак без додаткового навчання або модифікації процесу навчання.

The most common approaches to assessing the quality of training neural networks in the context of the problem of "small training sets" are analyzed. A review of the code implementation of the most universal approaches and ways of extending training/testing samples is carried out. The logic of the work of STN-module is analyzed. It can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimization process.