Використання дистильованих великих мовних моделей (LLM) для математичних обчислень

Abstract

This paper explores the application of distilled large language models (LLMs) for automatic computation of mathematical examples. The effectiveness of models such as DistilBERT, TinyLLaMA, and MiniGPT is analyzed in solving arithmetic and applied problems. The study evaluates the ability of LLMs to provide step-by-step reasoning, their accuracy, performance, and deployment feasibility on resource-constrained devices. Special attention is given to the handling of numerical structures in natural language queries and the generation of explanations. The results demonstrate the practicality of using distilled models in educational platforms, chatbots, and mobile learning applications.У роботі розглянуто застосування дистильованих великих мовних моделей для виконання автоматичного математичного обчислення. Проаналізовано ефективність моделей типу DistilBERT, TinyLLaMA та MiniGPT під час розв’язування задач на обчислення та прикладних задач. Досліджено здатність LLM до покрокового обґрунтування результатів, їхню точність, швидкодію та можливість розгортання на пристроях із обмеженими ресурсами. Особливу увагу приділено обробці числових структур у запитах природною мовою та генерації пояснень. Результати демонструють доцільність застосування дистильованих моделей у навчальних платформах, чат-ботах і мобільних освітніх додатках.