Logarithmic transformation of input activations in convolutional network neurons: An approach and analysis of effectiveness using MNIST classification as an example

Abstract

Convolutional neural networks attract considerable attention because they can learn directly input data, automatically forming the features required for classification. The purpose of the study was to improve the architecture of a convolutional neural network by applying a logarithmic transformation of input activations in the neurons of convolutional layers and examining its influence on classification accuracy and the robustness of the neural network to changes in image brightness. The mathematical model of a modified neuron was considered; it evaluates the input signal through a logarithmic transformation of the form γ ·ln(x+1), γ is an additional trainable parameter that determines the degree of nonlinear signal compression. This approach increased the sensitivity of the neuron to relative changes in input signals, reduces the influence of large activation values, and can improve the stability of the training process. An analysis of gradients for the trainable parameters of the neural network was conducted within the backpropagation method. The analysis indicated that logarithmic transformation changes the pattern of weight s, strengthening the gradient at small signal values and weakening it at large values. Particular attention was paid to the γ parameter, which acts as a global scale coefficient for the neural layer and enables the network to adjust the level of nonlinearity independently. Experimental verification of the effect of logarithmic transformation of input activations in convolutional layers was conducted using the MNIST handwritten digit classification task with a LeNet-like architecture. The experimental results demonstrated that, for standard images, the logarithmic model provides only a slight increase in accuracy compared with the model with classical linear neurons, averaging 99.17% versus 99.11%. However, for the same images with reduced brightness, the logarithmic model demonstrated high robustness and much higher accuracy. In particular, when brightness was reduced sevenfold, classification accuracy for the model with classical neurons decreased on average to 27.11%, as the logarithmic model maintained a level of approximately 90.98%. The results confirmed the appropriateness of using logarithmic transformation as a mechanism for improving the stability of neural networks in computer vision tasks under insufficient or variable illumination.

Згорткові нейронні мережі привертають значну увагу завдяки здатності навчатися безпосередньо на вхідних даних, автоматично формуючи ознаки, необхідні для класифікації. Метою дослідження було вдосконалення архітектури згорткової нейронної мережі за рахунок застосування логарифмічного перетворення вхідних активацій у нейронах згорткових шарів та дослідження його впливу на точність класифікації та стійкість нейромережі до змін яскравості зображень. Розглянуто математичну модель модифікованого нейрона, що оцінює вхідний сигнал через логарифмічне перетворення виду γ · ln(x + 1), де γ є додатковим навчальним параметром, що визначає ступінь нелінійного стиснення сигналу. Такий підхід дозволив зробити нейрон чутливим до відносних змін вхідних сигналів, зменшити вплив великих значень активацій та потенційно покращити стабільність процесу навчання. Було проведено аналіз градієнтів навчальних параметрів нейронної мережі в межах методу зворотного поширення помилки. Показано, що логарифмічне перетворення змінює характер оновлення ваг, підсилюючи градієнт при малих значеннях сигналу та послаблюючи для великих. Окрему увагу було приділено параметру γ, який виступає як глобальний коефіцієнт масштабу для нейронного шару і дозволяє мережі самостійно налаштовувати рівень нелінійності. Експериментальна перевірка ефекту від логарифмічної трансформації вхідних активацій у згорткових шарах була проведена на задачі класифікації рукописних цифр MNIST із використанням LeNet-подібної архітектури. Результати експериментів показали, що на стандартних зображеннях логарифмічна модель дає лише незначне підвищення точності за порівнянням з моделлю з класичними лінійними нейронами (у середньому 99,17 % проти 99,11 %). Проте для тих самих зображень зі зниженою яскравістю логарифмічна модель продемонструвала високу стійкість та набагато більшу точність. Зокрема, при зменшенні яскравості у 7 разів точність класифікації для моделі з класичними нейронами знижується у середньому до 27,11 %, тоді як логарифмічна модель зберігає рівень близько 90,98 %. Отримані результати підтвердили доцільність використання логарифмічного перетворення як механізму покращення стабільності нейронних мереж при вирішенні задач комп’ютерного зору в умовах недостатнього або змінного освітлення.