Підвищення ефективності трансферного навчання за допомогою динамічного визначення кількості шарів для заморозки на основі подібності класів

Abstract

In this research work, a method is presented that automatically determines the number of neural network layers to be freezed during transfer learning. The proposed approach is based on the use of cosine distance between the vector representations of classes the source and target datasets, which makes it possible to evaluate their semantic similarity and accordingly regulate the depth of layer freezing for further fine-tuning. Unlike fixed strategies, the dynamic approach provides more flexible utilization of prior knowledge and reduces the need for excessive computations. The study employs the ResNet-50 architecture and class subsets the CIFAR-10 dataset, for which mean feature vectors were generated and cosine distance was calculated. Based on these values, the method dynamically determined how many layers of the model should be frozen and kept unchanged, and which layers require retraining. The effectiveness of the method was evaluated by comparing classical training scratch with training using this transfer learning approach. The obtained results demonstrate that the proposed method improves generalization quality and reduces training time, highlighting the advantages of dynamically determining the number of layers to freeze. The method can be applied in tasks rapid adaptation, limited data, and efficient resource usage are essential. The proposed technique is promising, as it effectively combines model accuracy with reduced computational costs, enabling scalability, reusability of pretrained layers, and quick integration into various application domains, making it a valuable tool for future research and practical implementations.

Запропоновано метод, який автоматично визначає кількість шарів нейронної мережі для заморожування під час трансферного навчання. Цей підхід ґрунтується на використанні косинусної відстані між векторними представленнями класів вихідного та цільового наборів даних, що дозволяє оцінити їхню семантичну близькість і відповідно регулювати глибину заморозки шарів для подальшого перенавчання. На відміну від фіксованих стратегій, динамічний підхід забезпечує гнучкіше використання попередніх знань і зменшує потребу у надмірних обчисленнях. У роботі використано архітектуру ResNet-50 та підмножини класів набору CIFAR-10, для яких формувалися середні векторні значення та обчислювалася косинусна відстань. На основі отриманих значень динамічно визначалося, яку кількість шарів моделі доцільно заморозити та залишити незмінною, а які шари потребують перенавчання. Ефективність методу оцінювалася шляхом порівняння класичного навчання з нуля та навчання із застосуванням цього підходу трансферного навчання. Отримані результати показали, що запропонований підхід сприяє підвищенню якості узагальнення та скороченню часу тренування, демонструючи переваги використання динамічного визначення кількості шарів для заморозки. Метод може застосовуватися у задачах, де важливими є швидка адаптація, обмежені дані та економне використання ресурсів. Запропонована методика є перспективною, оскільки дозволяє ефективно поєднувати точність моделі з меншими обчислювальними витратами, забезпечуючи можливість масштабування, повторного використання певної кількості шарів та швидкої інтеграції у різні прикладні області, завдяки чому вона є цінним інструментом для подальших досліджень і практичних застосувань сьогодення.