Багатошарова нейронна архітектура інтелектуального чат-бота на основі комбінації моделі трансформера та термінологічних баз знань

Abstract

The article presents the concept and formalization of a multilayer neural architecture of an intelligent chatbot designed for simultaneous processing of multiple subject domains with the capability of dynamic clarification and expansion of the user query context. The relevance of the study is determined by the limitations of universal large language models which, while providing a high level of text generation, demonstrate insufficient depth of specialization and reduced accuracy in narrow professional or interdisciplinary tasks. The proposed approach is based on the integration of transformer-based deep learning models, recurrent neural networks of the LSTM type, and structured terminological knowledge bases within a hybrid information technology framework. The architecture involves multi-level processing of the textual signal, including primary NLP normalization, formation of contextual vector representations, probabilistic domain classification, term clustering, and semantic matching with structured knowledge bases. A distinctive feature of the model is the implementation of a multi-domain routing mechanism that enables simultaneous activation of multiple subject domains and adaptive weight distribution among them. This ensures correct interpretation of interdisciplinary queries and reduces the risk of semantic precision loss. The central element of the proposed approach is a multi-objective search method that includes multi-stage filtering of relevant terms and dynamic expansion of the semantic core of the query through related concepts. Such a mechanism allows reducing semantic noise, localizing the search within relevant subject domains, and optimizing computational costs. The generative pathway is implemented through the combination of a transformer model responsible for global semantic coherence of the response and an LSTM module that ensures preservation of local dialogue context and interaction coherence. The proposed architecture makes it possible to increase context determination accuracy, improve response detailing in narrowly specialized domains, and provide structured multi-domain processing compared to classical approaches. The results of the study can be applied in the development of next-generation intelligent information systems focused on personalized and professionally oriented user interaction.

У статті представлено концепцію та формалізацію багатошарової нейронної архітектури інтелектуального чат-бота, орієнтованого на одночасну обробку декількох предметних областей із можливістю динамічного уточнення та розширення контексту запиту користувача. Актуальність дослідження зумовлена обмеженнями універсальних великих мовних моделей, які, забезпечуючи високий рівень генерації тексту, демонструють недостатню глибину спеціалізації та знижену точність у вузькопрофесійних або міждисциплінарних задачах. Запропонований підхід базується на інтеграції трансформерних моделей глибинного навчання, рекурентних нейронних мереж із використанням методу LSTM та структурованих термінологічних баз знань у межах гібридної інформаційної технології. Архітектура передбачає багаторівневу обробку текстового сигналу, що включає первинну NLP-нормалізацію, формування контекстних векторних представлень, ймовірнісну доменну класифікацію, кластеризацію термів та їх семантичне зіставлення зі структурованими базами знань. Особливістю моделі є реалізація механізму мультидоменної маршрутизації, який дозволяє одночасно активувати декілька предметних областей та здійснювати адаптивний розподіл ваг між ними. Це забезпечує коректну інтерпретацію міждисциплінарних запитів і зменшує ризик втрати семантичної точності. Центральним елементом запропонованого підходу є метод багатоцільового пошуку, що передбачає багатоступеневу фільтрацію релевантних термів та динамічне розширення семантичного ядра запиту за рахунок споріднених понять. Такий механізм дозволяє зменшити семантичний шум, локалізувати пошук у межах релевантних предметних областей та оптимізувати обчислювальні витрати. Генеративний контур реалізовано на основі поєднання моделі трансформера, відповідальної за глобальну семантичну узгодженість відповіді, та LSTM-модуля, що забезпечує збереження локального діалогового контексту і когерентність взаємодії. Запропонована архітектура дозволяє підвищити точність визначення контексту, покращити деталізацію відповідей у вузькоспеціалізованих сферах та забезпечити структуровану мультидоменну обробку порівняно з класичними підходами. Результати дослідження можуть бути використані при розробці інтелектуальних інформаційних систем нового покоління, орієнтованих на персоналізовану взаємодію з користувачем.