Розпізнавання емоцій учасників відеоконференцій в Microsoft Teams

Abstract

An information technology for recognizing the participants emotions during video confer-ences in Microsoft Teams using a convolutional neural network and Azure cloud tools is pro-posed. The structure of information technology and the structure of the Azure platform compo-nents are developed. Analogues were analyzed and their advantages and disadvantages were identified. The generalized method of recognizing participants emotions was analyzed, its disad-vantages were identified. An improved method of recognizing participants emotions during video conferences in Microsoft Teams was proposed, which made it possible to automate the user`s work and obtain data about the emotional reactions of participants in video conferences to cer-tain news, announcements, discussion topics, to assess the abilities of speakers, detection of emo-tionally negative moments of video conferences and their causes due to the use of the Graph API library and Azure cloud technology. The proposed improved method became the basis of the rel-evant information technology. Experiments were performed, each of them involving a different number of video conference participants, different scenarios, different combinations of camera on and off, and different emotions. Analysis of the results showed that the developed information technology requires a single launch to handle any number of video conferences, while analog tools require a separate launch for each video conference. The developed technology makes it possible to recognize 94% emotions of video conference participants, unlike similar tools, as it supports a large number of participants at the same time without degrading the quality of their images. The developed technology makes it possible to identify all video conference participants and their emotional state, which is impossible using modern software.

Запропоновано інформаційну технологію розпізнавання емоцій учасників відеоконфе-ренцій у Microsoft Teams за рахунок використання нейронної згорткової мережі та засобів технології Azure, а також розроблено її структуру та структуру компонентів платформи Azure. Проаналізовано засоби-аналоги та виявлено їх переваги і недоліки. Проаналізовано узагальнений метод розпізнавання емоцій учасників відеоконфернецій, визначено його недоліки та запропоновано удосконалений метод розпізнавання емоцій учасників відеокон-ференцій у Microsoft Teams, що дало можливість автоматизувати роботу користувача та отримувати дані про емоційні реакції учасників відеоконференцій на певні новини, ого-лошення, теми дискусій, для оцінки здібностей ораторів, виявлення емоційно негативних моментів відеоконференцій та причин їх виникнення за рахунок використання бібліотеки Graph API та засобів хмарної технології Azure. Запропонований удосконалений метод ліг в основу відповідної інформаційної технології. Проведено експерименти, кожен з яких передбачав різну кількість учасників відеоконференцій, різні сценарії, різні комбінації ввімкнення та вимкнення камер та різні емоції. Аналіз результатів функціонування пока-зав, що розроблена інформаційна технологія потребує одноразового запуску для того, щоб обробляти будь-яку кількість відеоконференцій, в той час як засоби-аналоги потребують окремого запуску на кожну відеоконференцію. Розроблена технологія надає можливість розпізнати 94% емоцій учасників відеоконференцій на відміну від засобів-аналогів, так як вона підтримує велику кількість учасників одночасно без погіршення якості їх зобра-жень, а також ідентифікувати усіх учасників відеоконференції та їх емоційний стан, що неможливо при використанні сучасних програмних засобів.