Удосконалена модель розпізнавання емоцій учасників відеоконференцій на основі мультимодального підходу

Abstract

Запропоновано удосконалену модель розпізнавання емоцій учасників відеоконференцій на основі мультимодального підходу, а саме комбінації голосу та виразу обличчя. Наведено етапи розпізнавання емоцій на основі голосу та описано ознаки, які подаються на вхід згорткової нейронної мережі. Описано етапи розпізнавання емоцій на основі виразу обличчя. Наведено узагальнену схему розпізнавання емоцій учасників відеоконференцій на основі мультимодального підходу, що комбінує процеси розпізнавання на основі голосу та виразу обличчя.An improved model for recognizing the emotions of video conference participants based on a multimodal approach, specifically, a combination of voice and facial expression, is proposed. The stages of emotion recognition based on voice are presented and the features that are used as an input of the convolutional neural network are described. The stages of emotion recognition based on facial expressions are described. A generalized scheme for recognizing the emotions of video conference participants based on a multimodal approach that combines voice and facial expression recognition processes is presented.