Використання нейромережі на базі tensorflow для розпізнавання жестів та керування біонічним протезом

Abstract

У дослідженні детально проаналізовано точність розпізнавання різних жестів за допомогою ней-ромережі, побудованої на основі TensorFlow для керування біонічним протезом. Проведено серії експе-риментів із застосуванням наборів даних та параметрів моделі, в яких досліджено наскільки ефекти-вно нейромережа розпізнає різні жести в контексті управління протезом. Результати експериментів дозволяють зрозуміти потенційні обмеження та можливості цієї технології для практичного засто-сування в реальних умовах. Описано модель та архітектуру нейромережі, функції активації та пара-метри, які використано для навчання. Також розглянуто параметри навчання, які впливають на ефе-ктивність навчання моделі. Для оцінки ефективності моделі використано метрики оцінки моделі, графіки продуктивності моделі, матриця плутанини, — які дозволяють оцінити рівень достовірнос-ті та продуктивності навченої нейромережі. Запропоновано методику збору даних електроміографії (ЕМГ), що полягає у використанні електричних сигналів, які виникають у м’язах у разі їхнього скоро-чення. Цей процес передбачає розміщення електродів на поверхні шкіри над м’язами, що аналізують-ся, для реєстрації електричних сигналів, які виникають у момент м’язової активності. Такий підхід дозволяє збирати об’єктивні дані про активність м’язів та їхні рухи, які потім можуть бути викорис-тані для навчання нейромережі та подальшого використання у керуванні біонічним протезом. Прове-дено серію експериментів для оцінки точності розпізнавання різних рухів за використання навченої моделі. Аналізуючи результати експериментів, можна зрозуміти, наскільки ефективно та надійно працює навчена модель у реальних умовах та яка її придатність для практичного застосування в системах управління біонічними протезами.

This study analyzes in detail the recognition accuracy of various gestures using a neural network built on TensorFlow to control a bionic prosthesis. By conducting a series of experiments using data sets and model parameters, it is investigated how effectively the neural network recognizes various gestures in the context of prosthesis control. The results of the exper-iments will allow us to understand the potential limitations and opportunities of this technology for practical application in real conditions. The neural network model and architecture, activation functions and parameters used for training are described. Learning parameters that affect the effectiveness of model learning are also considered. To evaluate the effectiveness of the model, results such as model evaluation metrics, model performance graphs, and confusion matrix are used to evaluate the level of reliability and performance of the trained neural network. Method of collecting electromyography (EMG) data is proposed, which consists in the use of electrical signals arising in muscles during their contraction. This process involves placing electrodes on the surface of the skin over the muscles being analyzed to record the electrical signals that occur at the moment of muscle activity. This approach allows collecting objective data on muscle activity and their movements, which can then be used to train a neural network and further use it in controlling a bionic prosthesis. A series of experiments was conducted to assess the accuracy of recognition of various movements using the trained model. Analyzing the results of the experiments, it is possible to understand how efficiently and reliably the trained model works in real conditions and how suitable it is for practical use in control systems of bionic prostheses.