Особливості застосування інформаційних технологій аналізу та розпізнавання тональності текстових коментарів

Abstract

Запропоновано підхід до підвищення ефективності інформаційної технології аналізу та розпізнавання тональності текстових коментарів на основі комбінованого застосування методів векторних представлень слів, тонкого налаштування трансформерних моделей та каскадної маршрутизації за рівнем упевненості.

An approach is proposed to improve the effectiveness of information technology for analysing and recognising the tone of text comments, based on the combined application of methods involving vector representations of words, finetuning of transformer models, and cascaded routing based on confidence levels. The paper outlines the features of a method for automatically expanding the Ukrainian tone dictionary based on the principle of semantic similarity of word vector representations to cover slang and neologisms which are absent from the base dictionary, and approaches are defined for forming a cascaded classification model based on fine-tuning Transformer models for the accurate recognition of the tone of comments that are classified as ambiguous at the lexical level. The feasibility of using a cascade routing mechanism based on a confidence threshold for lexical assessment to adaptively improve the computational efficiency of tone analysis technology has been substantiated.