Neurorecognition visualization in multitask end-to-end speech

Abstract

Нині технології оброблення мовлення з різними мовними системами успішно використовуються в мобільних і стаціонарних пристроях. Казахська мова вважається мовою з обмеженими ресурсами, що створює різні труднощі для традиційних методів розпізнавання мовлення. У цій роботі представлено запропоновану модель, здатну до багатозадачності й одночасного виконання розпізнавання мовлення, ідентифікації діалекту та ідентифікації мовця в єдиній наскрізній (end-to-end) структурі. Розроблена багатозадачна модель дає змогу навчати три різні задачі в межах однієї моделі. Багатозадачну систему розпізнавання створено на основі моделі WaveNet-CTC. Експерименти показують, що для конкретної задачі наскрізна багатозадачна модель має кращу продуктивність, ніж інші моделі.

Nowadays, speech-processing technologies with different language systems are successfully used in mobile and stationary devices. Kazakh is considered a low-resource language, which poses various challenges for conventional speech recognition methods. This paper presents a proposed model capable of multitasking and handling concurrent speech recognition, dialect identification, and speaker identification, all in an end-to-end framework. The developed multitask model enables training three different tasks within a single model. A multitask recognition system is created based on the WaveNet-CTC model. Experiments show that for the concrete task end-to-end multitask model has better performance than other models..