LLM-based automation for translating mathematical formulae and symbols: challenges and perspectives for technical communication

Abstract

Зростаюча залежність студентів і дослідників від великих мовних моделей при перекладі технічних та наукових текстів випередила критичне осмислення ризиків, які така залежність несе в собі, – особливо там, де йдеться про формальний математичний запис. У цій статті досліджуються характерні типи помилок трьох сучасних генеративних мовних моделей – GPT-4o, Claude 3.5 Sonnet та Gemini 1.5 Pro – при виконанні завдання перекладу математичного дискурсу з англійської мови на українську на основі стратифікованого корпусу з 120 текстових фрагментів, відібраних із університетських підручників, рецензованих наукових статей та умов задач олімпіад. Застосовуючи двомовний промпт-дизайн, що порівнював режими zero-shot та few-shot, і оцінюючи результати на тлі еталонних перекладів, виконаних людьми, за чотирма критеріями – символьна точність, логічна зв’язність, термінологічна відповідність стандартам ISO 80000 та IEC 60050, а також регістрова узгодженість – дослідження виявляє та класифікує 274 критичні помилки за чотирма таксономічними категоріями: синтаксичні та структурні помилки, семантичне змішування символів, контекстуальні галюцинації та інтерференція природної мови. Кількісний аналіз засвідчує, що показники символьної точності відставали від оцінок логічної зв’язності на від чотирьох до дев’яти відсоткових пунктів у всіх парах «модель – умова», підтверджуючи, що сучасні моделі значно надійніше відтворюють пояснювальну прозу математичної аргументації, ніж формальний символьний апарат, який ця проза описує й інтерпретує. Claude 3.5 Sonnet продемонстрував найменшу загальну кількість критичних помилок, тоді як структурні спотворення у вкладених нотатках виявилися найпоширенішим типом помилок у всіх трьох моделях. Дослідження також виявляє раніше недостатньо описане явище – контекстно зумовлене мовчазне «виправлення» формально коректних, але нестандартних виразів у бік дистрибутивної типовості – і обстоює думку, що саме воно становить особливо серйозний ризик у контексті професійного та академічного перекладу. На завершення окреслено напрямки розробки вузькоспеціалізованих моделей, гібридних конвеєрів верифікації та спеціалізованих систем оцінювання математичного перекладу, а також визначено лінгвістичні та часові обмеження дослідження як орієнтири для майбутніх праць.