Designing of array neuron-equivalentors with a quasi-universal activation function for creating a self-learning equivalent- convolutional neural structures

Abstract

У роботі розглянуто нагальну потребу створення високоефективних апаратних прискорювачів для алгоритмів машинного навчання, зокрема згорткових і глибоких нейронних мереж, моделей асоціативної пам’яті, кластеризації та розпізнавання образів. Наведено короткий огляд наших пов’язаних робіт щодо переваг еквівалентних моделей (ЕМ) для проєктування біонспірованих систем. Такі ЕМ-парадигми є дуже перспективними для оброблення, кластеризації, розпізнавання, зберігання зображень великого розміру, сильно корельованих і з високим рівнем шуму та для створення машини неконтрольованого навчання. Оскільки базовими вузлами ЕМ є векторно-матричні (матрично-тензорні) процедури з неперервно-логічними операціями, такими як нормалізовані векторні операції «еквівалентність», «нееквівалентність» тощо, у цій роботі розглянуто нові концептуальні підходи до проєктування повномасштабних матриць таких нейронів-еквівалентаторів (НЕ) з розширеною функціональністю, зокрема з різними функціями активації. Наш підхід ґрунтується на використанні аналогових і змішаних (зі спеціальним кодуванням) методів реалізації необхідних операцій, побудові НЕ (з кількістю синапсів від 8 до 128 і більше) та їхніх базових комірок, вузлів на основі фоточутливих елементів і струмових дзеркал. Результати моделювання показують, що ефективність НЕ щодо енергомісткості оцінюється величиною не менше 10^12 арифм. оп./с на Вт і може бути підвищена. Результати підтверджують коректність можливості створення НЕ та MIMO-структур на їх основі.In the paper, we consider the urgent need to create highly efficient hardware accelerators for machine learning algorithms, including convolutional and deep neural networks, for associative memory models, clustering, and pattern recognition. We show a brief overview of our related works the advantages of the equivalent models (EM) for designing bio-inspired systems. Such EM-paradigms are very perspective for processing, clustering, recognition, storing large size, strongly correlated, highly noised images and creating of uncontrolled learning machine. And since the basic nodes of EM are such vector-matrix (matrix-tensor procedures with continuous-logical operations as: normalized vector operations "equivalence", "nonequivalence", and etc., we consider in this paper new conceptual approaches to the design of full-scale arrays of such neuron-equivalentors (NEs) with extended functionality, including different activation functions. Our approach is based on the use of analog and mixed (with special coding) methods for implementing the required operations, building NEs (with number of synapsis from 8 up to 128 and more) and their base cells, nodes based on photosensitive elements and current mirrors. Simulation results show that the efficiency of NEs relative to the energy intensity is estimated at a value of not less than 1012 an. op. / sec on W and can be increased. The results confirm the correctness of the possibility of creating NE and MIMO structures on their basis.