Класифікація соняшника за допомогою згортково-капсульної моделі нейроної мережі CNN-CapsNet

Abstract

Sunflower classification using convolutional- capsular model of neural network CNN-CapsNet of improved architec-ture, which combines the convolutional neural network CNN and the capsular neural network CapsNet and enables to use the advantages of these two architectures is suggested in the paper. The conducted review of the literature sourcesallows to conclude that the advantage of convolutional neural network CNN is a shorter training time and the advantages of capsular neural network CapsNet include greater precision, reliability and the ability to work effectively with the com-plex tasks. Combination of convolutional neural network CNN and capsular neural network CapsNet as well as improve-ment of CNN-CapsNet architecture were conducted by means of making changes to CapsNet. These changes are that in dynamic routing, the feedback process adds support for the capsule that most closely matches the original signal. Activa-tion functions are also applied to approximate nonlinear connections in deep networks. They are implemented as basic mathematical functions, usually for scalar quantities. Convolutional layers are used to get initial feature maps, which are then loaded into the CapsNet model to perform the final classification. Based on this approach , two separate model have been developed. One model provides classification, based on two classes: \"unripe sunflower\" and \"ripe sunflower\". The second model provides classification based on three classes: \"unripe sunflower\", \"ripe sunflower\" and \"sick sunflower\".Main indicators of the effectiveness of the CNN-CapsNet neural network were ed such characteristics as accuracy, sensitivity and F-score based on type I and II errors. To analyze these indicators, error matrices and graphs of accuracy and errors of these models were constructed. The comparison of the proposed models of the CNN-CapsNet neural net-work with similar ones was made, the highest accuracy was demonstrated by the proposed models.

Запропоновано класифікацію соняшника за допомогою згортково-капсульної моделі нейронної мережі CNN-CapsNet з удосконаленою архітектурою, яка поєднує згорткову нейронну мережу CNN та капсульну нейронну мережу CapsNet та дозволяє використати переваги цих обох архітектур. На основі проведеного літературного огляду встановлено, що перевагою згорткової нейронної мережі CNN є коротший час навчання, а капсульної нейронної мережі CapsNet — більша точність, надійність та можливість ефективно працювати зі складними задачами. Поєднання згорткової нейронної мережі CNN та капсульної нейронної мережі CapsNet та вдосконалення архітектури CNN-CapsNet проводилося шляхом внесення змін в CapsNet. Ці зміни полягають в тому, що у динамічній маршрутизації процес зворотного зв`язку додає підтримку для капсули, яка найбільше відповідає вихідному сигналу. Також застосовуються функції активації для апроксимації нелінійних з`єднань у глибоких мережах. Вони реалізовані як базові математичні функції, зазвичай для скалярних величин. Згорткові шари використовуються для отримання початкових карт функцій, які потім завантажуються в модель CapsNet для виконання остаточної класифікації. На основі цього розроблено дві окремі моделі. Одна модель виконує класифікацію на основі двох класів: «незрілий соняшник» та «стиглий соняшник». Друга модель виконує класифікацію на основі трьох класів: «незрілий соняшник», «стиглий соняшник» та «хворий соняшник». Основними показниками ефективності нейронної мережі CNN-CapsNet вибрано такі характеристики як точність класифікації, чутливість та F-оцінка на основі помилок І і ІІ роду. Для аналізу цих показників побудовано матриці помилок і графіки точності та похибок цих моделей. Здійснене порівняння запропонованих моделей нейронної мережі CNN-CapsNet з подібними продемонструвало найбільшу точність саме запропонованих моделей.