Design and simulation of neuron-equivalentors array for creation of self-learning equivalent-convolutional neural structures (SLECNS)

Abstract

In the paper, we consider the urgent need to create highly efficient hardware accelerators for machine learning algorithms, including convolutional and deep neural networks (CNN and DNNS), for associative memory models, clustering, and pattern recognition. We show a brief overview of our related works the advantages of the equivalent models (EM) for describing and designing bio-inspired systems. The capacity of NN on the basis of EM and of its modifications is in several times quantity of neurons. Such neural paradigms are very perspective for processing, clustering, recognition, storing large size, strongly correlated, highly noised images and creating of uncontrolled learning machine. And since the basic operational functional nodes of EM are such vector-matrix or matrix-tensor procedures with continuous-logical operations as: normalized vector operations \"equivalence\", \"nonequivalence\", and etc. , we consider in this paper new conceptual approaches to the design of full-scale arrays of such neuron-equivalentors (NEs) with extended functionality, including different activation functions. Our approach is based on the use of analog and mixed (with special coding) methods for implementing the required operations, building NEs (with number of synapsis 8 up to 128 and more) and their base cells, nodes based on photosensitive elements and CMOS current mirrors. Simulation results show that the efficiency of NEs relative to the energy intensity is estimated at a value of not less than 1012 an. op. / sec on W and can be increased. The results confirm the correctness of the concept and the possibility of creating NE and MIMO structures on their basis.

У статті ми розглядаємо гостру необхідність створення високоефективних апаратних прискорювачів для алгоритмів машинного навчання, включаючи згорткові і глибокі нейронні мережі (ЗНМ і ГЗНМ), для моделей асоціативної пам`яті, кластеризації та розпізнавання образів. Ми показуємо в короткому огляді наших пов`язаних робіт переваги еквівалентністних моделей (ЕМ) для опису і проектування біо-натхненних систем. Ємність НМ на основі ЕМ і її модифікацій в кілька разів перевищує кількість нейронів. Такі нейронні парадигми дуже перспективні для обробки, кластеризації, розпізнавання, зберігання сильно корельованих і зашумлених зображень навіть великого розміру і для створення неконтрольованої навчальної машини. Базовими операційними функціональними вузлами ЕМ є векторно-матричні або матрично-тензорні процедури з такими безперервно-логічними операціями, як: нормалізовані векторні операції «еквівалентність», «нееквівалентність». Ми розглядаємо в цій статті нові концептуальні підходи до створення повномасштабних масивів таких нейрон-еквіваленторів (НЕ) з розширеними функціональними можливостями, включаючи різні функції активації. Наш підхід заснований на використанні аналогових і змішаних (із спеціальним кодуванням) методів реалізації необхідних операцій, побудови мережевих елементів (з числом синапсів від 8 до 128 і більше) і їх базових елементів, вузлів та модулів на основі світлочутливих елементів і відбивачів струму (струмових дзеркал) на CMOS. Результати моделювання показують, що відносна енергоефективність НЕ оцінюється величиною не менше 10 ^ 12 ан. op. / сек на Вт і може бути збільшена. Результати підтверджують правильність концепції і можливість створення на їх основі структур НЕ і СНЕЗНС.