Новий підхід кооперації великих мовних моделей та технік конструювання підказок до Chat-GPT для автоматичного розв'язання природномовних задач з математики

Abstract

Досліджено проблему розв’язання математичних задач, сформульованих природною мовою, за допомогою великих мовних моделей (LLM). Проаналізовано та порівняно ефективність існуючих підходів. Розроблено новий підхід для оптимізації підказок на основі навчання з підкріпленням, який використовує динамічну побудову підказок та комбінування відомих технік “prompt engineering”, в залежності від категорії задачі. Наведено приклад, який довів ефективність запропонованого підходу на практиці.

The issue of solving mathematical problems formulated in natural language using large language models (LLM) was investigated. The efficiency of existing approaches was analyzed and compared. A new approach for optimizing prompts based on reinforcement learning was developed, which uses dynamic construction of prompts and combines known "prompt engineering" techniques, depending on the category of the problem. An example that proved the effectiveness of the proposed approach in practice is provided.