Analysis of Deep Learning Methods in Adaptation to the Small Data Problem Solving

Abstract

У цій статті розглянуто специфічну проблему в дослідженні глибоких нейронних мереж — навчання на малих даних. Така проблема виникає в ситуації трансферного навчання або застосування відомих рішень до нових завдань, що передбачає використання окремих невеликих частин даних. На основі попередніх досліджень деякі специфічні рішення можна застосовувати до різних завдань, пов’язаних із машинним навчанням, комп’ютерним зором, обробленням природної мови, вивченням медичних даних та багатьма іншими. Ці рішення охоплюють різні методи машинного та глибокого навчання загального призначення, що успішно використовуються для цих завдань. Для цього в статті ретельно вивчено проблеми, що виникають під час підготовки даних. З метою порівняльного аналізу ми також порівняли «в реальних умовах» методи машинного навчання та виявили деякі проблеми в їх практичному застосуванні, зокрема використання спеціального апаратного забезпечення. У статті торкаємося й інших аспектів машинного навчання, порівнюючи схожості та відмінності сингулярного розкладу та глибоких автоенкодерів з обмеженнями. Щоб перевірити наші гіпотези, ми ретельно вивчили різні методи глибокого та машинного навчання на малих даних. У результаті дослідження в статті запропоновано набір рішень, що охоплює вибір відповідних алгоритмів, методів підготовки даних, апаратного забезпечення, оптимізованого для машинного навчання, обговорення їхньої практичної ефективності та подальше вдосконалення підходів і методів, описаних у статті. Також обговорено деякі проблеми, які необхідно розв’язати в наступних працях.

This paper discusses a specific problem in the study of deep neural networks – learning on small data. Such issue happens in situation of transfer learning or applying known solutions on new tasks that involves usage of particular small portions of data. Based on previous research, some specific solutions can be applied to various tasks related to machine learning, computer vision, natural language processing, medical data study and many others. These solutions include various methods of general purpose machine and deep learning, being successfully used for these tasks. In order to do so, the paper carefully studies the problems arise in the preparation of data. For benchmark purposes, we also compared “in wild” the methods of machine learning and identified some issues in their practical application, in particular usage of specific hardware. The paper touches some other aspects of machine learning by comparing the similarities and differences of singular value decomposition and deep constrained auto-encoders. In order to test our hypotheses, we carefully studied various deep and machine learning methods on small data. As a result of the study, our paper proposes a set of solutions, which include the selection of appropriate algorithms, data preparation methods, hardware optimized for machine learning, discussion of their practical effectiveness and further improvement of approaches and methods described in the paper. Also, some problems were discussed, which have to be addressed in the following papers.