Метод та засіб аналізу ефективності роботи великих мовних моделей для виконання задач комплексного характеру

Abstract

Проаналізовано сучасні підходи до оцінки ефективності великих мовних моделей для виконання комплексних задач, які включають одночасний аналіз нормативно-правових документів та числових даних. Розглянуто проблеми інтеграції різнорідної інформації, забезпечення логічної узгодженості результатів та порівняння моделей за різними критеріями: коректністю, стабільністю, часом обробки та дотриманням інструкцій. Актуальність дослідження зумовлена швидким розвитком великих мовних моделей та необхідністю вибору оптимальних рішень для задач прикладного характеру, де помилки можуть мати суттєві наслідки. Основу методу становить багатокритеріальний підхід, який передбачає одночасний аналіз результатів моделей на комплексному запиті: обробка нормативних документів та CSV-даних із середньодобовими концентраціями забруднювачів повітря. Для оцінки результатів використано показники коректності, стабільності, часу виконання, вартості, використання токенів та дотримання інструкцій. Запропоновано математичну модель агрегування результатів, що включає усереднення показників по множині тестових задач, виділення множини Парето-оптимальних моделей, побудову скаляризованої функції корисності для визначення оптимальної конфігурації моделі залежно від заданих вагових коефіцієнтів. Апробація методу на прикладі міста Вінниця показала, що різні моделі мають суттєві відмінності у здатності формувати узгоджені висновки. На основі аналізу моделями нормативних порогів визначено оптимальну кількість пунктів спостереження для різних забруднювачів, що забезпечує репрезентативний моніторинг якості повітря. Запропонований підхід дозволяє враховувати специфіку комплексних прикладних задач, інтегрувати різнорідні дані та підвищує обґрунтованість вибору моделей для практичного застосування. Встановлено, що моделі класу GPT-4o та GPT-5.1 забезпечують кращий баланс між коректністю та стабільністю з прийнятним рівнем ресурсних витрат. На прикладному рівні отримано обґрунтовані рекомендації щодо кількості пунктів спостереження атмосферного повітря для міста Вінниця, що підтверджує здатність моделей інтегрувати нормативні вимоги та числові дані. Показано, що коректність таких рішень істотно залежить не лише від якості моделі, але й від її стабільності та здатності дотримуватись інструкцій.This paper analyzes modern approaches to evaluating the efficiency of large language models for complex tasks solution that involve the simultaneous analysis of regulatory documents and numerical data. The study examines challenges related to the integration of heterogeneous information, ensuring logical consistency of results, and comparing models across multiple criteria, including correctness, stability, processing time, and adherence to instructions. The relevance of the research is determined by the rapid development of large language models and the need to optimal solutions for applied tasks errors may have significant consequences. The proposed method is based on a multi-criteria approach that involves the simultaneous evaluation of model outputs on a complex query, including the processing of regulatory documents and CSV data containing average daily air pollutant concentrations. The evaluation is carried out using metrics such as correctness, stability, execution time, cost, token usage, and adherence to instructions. A mathematical model of results aggregation is proposed, which includes averaging indicators over a set of test tasks, ing a set of Pareto-optimal models, and constructing a scalar utility function to determine the optimal configuration of the model depending on the specified weight coefficients. The methodology was validated using a case study of the city of Vinnytsia, demonstrating that different models exhibit significant differences in their ability to produce consistent and coherent conclusions. Based on the analysis of regulatory thresholds by the models, the optimal number of monitoring stations for different pollutants was determined, ensuring representative air quality monitoring. The proposed approach accounts for the specific features of complex applied tasks, enables the integration of heterogeneous data, and improves the validity of model ion for practical applications. It is established that the models of the GPT-4o and GPT-5.1 class provide a better balance between correctness and stability at an acceptable level of resource costs. At the applied level, justified recommendations on the number of atmospheric air observation points for the city of Vinnytsia were obtained, which confirms the ability of the models to integrate regulatory requirements and numerical data. It is shown that the correctness of such solutions significantly depends not only on the quality of the model, but also on its stability and ability to follow instructions.