Neural network model of heteroassociative memory for the classification task

Abstract

The subject of study in this article is the features of structural organization and functioning of the improved Hamming network as a model of neural network heteroassociative memory for classification by discriminant functions. The goal is to improve the neural network classifier based on the Hamming network, which implements the criterion of maximum similarity using discriminant functions and does not have restrictions on the representation of input data (not only binary data). The tasks: analyze the capabilities of associative memory models using neural networks as an example; analyze the features of classification on the principles of discriminant analysis; develop the structure of a neural network classifier as a model of neural network heteroassociative memory; perform simulation modeling of the classification process on the example of medical diagnosis. The methods used are a mathematical model of the functioning of a neural network as a classifier, and simulation in C#. The following results have been obtained: the structure of the neural network classifier has been improved through the formation connection matrix of a hidden layer from pre-calculated coefficients of linear discriminant functions, and the connection matrix of the output layer in the form symmetrical matrix with zeros on the main diagonal. This allows not only to simplify m connections, where m is the number of classes, in the structure of the output layer of the neural network classifier, but also to speed up the classification process, as well as to implement classification by the maximum of discriminant functions. Conclusions. The scientific novelty of the results obtained is as follows: the neural network classification method has been improved using pre-calculated elements of the connection matrices in the hidden and output layers of the classifier, which does not imply a long process of direct neural network learning with using discriminant functions; the structural organization of a neural network classifier is proposed, which is an improvement of the Hamming network as a model of heteroassociative memory, that allows using this classifier in a decision support system for medical diagnosis; the removal of positive feedback in neurons of the competitive (output) layer is implemented, which allows not only simplifies the structure of the neural network classifier but also speeds up the classification process almost 2 times, which is confirmed by the simulation results.

Предметом изучения в статье являются особенности структурной организации и функционирования усовершенствованной сети Хэмминга как модели нейросетевой гетероассоциативной памяти для задачи классификации по дискриминантным функциям. Целью является усовершенствование нейросетевого классификатора на базе сети Хэмминга, в котором реализуется критерий максимального сходства с использованием дискриминантных функций и отсутствуют ограничения на представление входных данных (не только бинарные данные). Задачи: проанализировать возможности моделей ассоциативной памяти на примере нейросетей; проанализировать особенности классификации на принципах дискриминантного анализа; разработать структуру нейросетевого классификатора как модели нейросетевой гетероассоциативной памяти; выполнить имитационное моделирование процесса классификации на примере медицинского диагностирования. Используемыми методами являются математическая модель функционирования нейросети как классификатора, имитационное моделирование на языке С#. Получены следующие результаты: усовершенствована структура нейросетевого классификатора в результате построения матрицы связей скрытого слоя на основе предварительно рассчитанных коэффициентов линейных дискриминантных функций, а матрицы связей выходного слоя – в виде симметричной матрицы с нулевыми элементами на главной диагонали. Это позволяет не только упростить на m связей, где m – количество классов, структуру выходного слоя нейросетевого классификатора, но и ускорить процесс классификации, а также реализовать классификацию по максимуму дискриминантных функций. Выводы. Научная новизна полученных результатов заключается в следующем: усовершенствован метод нейросетевой классификации с использованием предварительно рассчитанных элементов матриц связей в скрытом и выходном слоях классификатора, что не предполагает длительного процесса непосредственного нейросетевого обучения с использованием дискриминантных функций; предложена структурная организация нейросетевого классификатора, которая является усовершенствованием сети Хэмминга как модели гетероассоциативной памяти, позволяющей использовать этот классификатор в системе поддержки принятия решений при медицинском диагностировании; реализовано удаление положительных обратных связей у нейронов конкурентного (выходного) слоя, что позволяет не только упростить структуру нейросетевого классификатора, но и ускорить процесс классификации почти в 2 раза, что подтверждено результатами имитационного моделирования.

Предметом вивчення в статті є особливості структурної організації та функціонування вдосконаленої мережі Хеммінга як моделі нейромережевої гетероасоціативної пам’яті для задачі класифікації за дискримінантними функціями. Метою є удосконалення нейромережевого класифікатора на базі мережі Хеммінга, в якому реалізується критерій максимальної подібності з використанням дискримінантних функцій та відсутні обмеження на подання початкових даних (не тільки бінарні дані). Завдання: проаналізувати можливості моделей асоціативної пам’яті на прикладі нейромереж; проаналізувати особливості класифікації на принципах дискримінантного аналізу; розробити структуру нейромережевого класифікатора як моделі нейромережевої гетероасоціативної пам’яті; виконати імітаційне моделювання процесу класифікації на прикладі медичного діагностування. Використовуваними методами є математична модель функціонування нейромережі як класифікатора, імітаційне моделювання на мові С#. Отримано такі результати: вдосконалено структуру нейромережевого класифікатора через утворення матриці зв’язків прихованого шару з попередньо розрахованих коефіцієнтів лінійних дискримінантних функцій, а матриці зв’язків вихідного шару – у вигляді симетричної матриці з нульовими елементами на головній діагоналі. Це дозволяє не тільки спростити на m зв’язків, де m – кількість класів, структуру вихідного шару нейромережевого класифікатора, але й прискорити процес класифікації, а також реалізувати класифікацію за максимумом дискримінантних функцій. Висновки. Наукова новизна отриманих результатів полягає в наступному: вдосконалено метод нейромережевої класифікації з використанням попередньо розрахованих елементів матриць зв’язків у прихованому та вихідному шарах класифікатора, що не передбачає тривалого процесу безпосереднього нейромережевого навчання з використанням дискримінантних функцій; запропоновано структурну організацію нейромережевого класифікатора, яка є удосконаленням мережі Хеммінга як моделі гетероасоціативної пам’яті, що дозволяє застосувати цей класифікатор у системі підтримки прийняття рішень при медичному діагностуванні; реалізовано видалення додатних зворотних зв’язків у нейронів конкурентного (вихідного) шару, що дозволяє не тільки спростити структуру нейромережевого класифікатора, але й прискорити процес класифікації майже у 2 рази, що підтверджено результатами імітаційного моделювання.