Chat-based translation of Slavic languages with large language models

Abstract

Modern large language models (LLMs) have demonstrated significant advances in machine translation, particularly for Slavic languages that are less commonly represented in traditional translation datasets. This study aimed to evaluate the effectiveness of LLMs (ChatGPT, Claude, and Llama) in translating conversational texts in Slavic languages compared to commercial translators and transformer models. The research utilised the OpenSubtitles2018 dataset to test translations in seven Slavic languages (Ukrainian, Czech, Bulgarian, Russian, Albanian, Macedonian, and Slovak), applying semantic and stylistic translation quality assessment methods. Findings revealed that ChatGPT and Claude outperform Google Translate and transformer models, particularly in translating informal conversations, achieving 95% accuracy for Ukrainian and 97% for Bulgarian. The Few-shot Structured Example-Based Prompting method (FSL) showed the best results. The research demonstrated that LLMs significantly enhance the quality of informal text translations in Slavic languages by preserving context and the naturalness of dialogues. Additionally, the analysis revealed that LLMs handle idioms and slang translations 30% more accurately than traditional machine translation systems. Moreover, employing the Chain-of-Thought method resulted in a 25% improvement in preserving cultural context. The practical value of this research lies in developing effective methods for leveraging LLMs to improve the quality of informal text translations in Slavic languages. This is particularly beneficial for messaging platforms, social networks, and entertainment content, preserving natural speech and cultural nuances is essential.

Сучасні великі мовні моделі (LLM) демонструють значний потенціал у галузі машинного перекладу, особливо для слов’янських мов, які часто недостатньо представлені у традиційних наборах даних для перекладу. Метою дослідження була оцінка ефективності використання LLM (ChatGPT, Claude та Llama) для перекладу розмовних текстів слов’янськими мовами порівняно з комерційними перекладачами та трансформермоделями. У роботі використано датасет OpenSubtitles2018 для тестування перекладів сімома слов’янськими мовами, застосовуючи методи семантичної та стилістичної оцінки якості перекладу. Результати показують, що ChatGPT і Claude забезпечують кращу якість перекладу порівняно з Google Translate та трансформер-моделями, особливо для неформальних розмов, досягаючи 95 % точності для української та 97 % для болгарської мов. Структурований метод промптів з прикладами (FSLE) показав найкращі результати. Дослідження показало, що використання LLM значно покращує якість перекладу неформальних текстів слов’янськими мовами, зберігаючи контекст та природність діалогу. Аналіз також виявив, що LLM краще справляються з перекладом ідіом та сленгу, забезпечуючи на 30 % вищу точність порівняно з традиційними системами машинного перекладу. При використанні методу ланцюжків міркувань (Chain-of-Thought) спостерігалося покращення збереження культурного контексту на 25 %. Практична цінність дослідження полягає в розробці ефективних методів використання LLM для якісного перекладу неформальних текстів слов’янськими мовами, що особливо корисно для месенджерів, соціальних мереж та розважального контенту, де важливе збереження природності мовлення та культурного контексту