Design and modeling of neuronequivalentors and their nodes as accelerators of equivalentalconvolutional self-learning neural structures

Abstract

In the paper we consider the urgent need to create highly efficient hardware accelerators for deep convolutional neural networks (CNNs) and machine learning. We show overview of our related works the advantages of the equivalent models (EM) for designing bio-inspired systems. The capacity of neural net on the basis of EM is in several times quantity of neurons. Such EM-paradigms are perspective for clustering, recognition strongly correlated, highly noised images and creating of uncontrolled learning machine. And since the basic functional nodes of EM are vector-matrix procedures with continuous-logical operations as: normalized vector operations \"equivalence\", \"nonequivalence\", and etc., we consider in this paper new approaches to the design of arrays of such neuron-equivalentors (NEs) with extended functionality, including activation functions. Our approach is based on the use of analog and mixed methods for implementing the required operations, building NEs (with number of synapsis 8 up to 128 and more) and their base nodes based on photo-elements and CMOS current mirrors. Simulation results show that the efficiency of NEs relative to the energy intensity is estimated at a value of not less than 10^12 an. op. / sec on W and can be increased. The results confirm the correctness of the concept of creating NEs and equivalental-convolutional self-learning neural structures (EqCSLNSs) on their basis.

У статті ми розглядаємо нагальну потребу у створенні високоефективних апаратних прискорювачів для глибоких згорткових нейронних мереж (ЗНМ) та машинного навчання. Ми показуємо огляд наших пов`язаних робіт щодо переваг еквівалентних моделей (ЕМ) для проектування біологічно натхненних систем. Потужність нейронної мережі на основі ЕМ перевищує кількість нейронів у кілька разів. Такі ЕМ-парадигми є перспективними для кластеризації, розпізнавання сильно корельованих, високо зашумлених зображень та створення некерованих навчальних машин. А оскільки основними функціональними вузлами ЕМ є векторно-матричні процедури з безперервно-логічними операціями, такими як: нормалізовані векторні операції \"еквівалентність\", \"нееквівалентність\" тощо, у цій статті ми розглядаємо нові підходи до проектування масивів таких нейрон-еквівалентів (НЕ) з розширеною функціональністю, включаючи функції активації. Наш підхід базується на використанні аналогових та змішаних методів для реалізації необхідних операцій, побудови НЕ (з кількістю синапсів від 8 до 128 і більше) та їх базових вузлів на основі фотоелементів та КМОП-струмових дзеркал. Результати моделювання показують, що ефективність НА відносно енергоємності оцінюється на рівні не менше 10^12 ан. оп./с на Вт і може бути збільшена. Результати підтверджують правильність концепції створення НА та еквівалентно-згорткових самонавчальних нейронних структур (EqCSLNS) на їх основі.