Знання-орієнтована ієрархічна мультиагентна інтелектуальна система сценарного прогнозування часових рядів на основі LLM

Abstract

Improving the accuracy, reliability, and consistency of scenario-based forecasting of time series with high uncertainty is one of the key challenges of modern decision support systems. Such tasks are particularly complex in the presence of missing data, lag effects, variable seasonality, structural breaks, and the need to account for external contextual knowledge, which is often represented in textual form. Traditional forecasting methods focused on optimizing individual models usually fail to ensure forecast consistency and proper uncertainty estimation in scenario analysis. This paper proposes a knowledge-oriented hierarchical multi-agent intelligent system (IMAIS) for scenario-based time series forecasting, in which large language models (LLMs) are used as specialized intelligent agents with clearly distributed, non-overlapping roles. Based on a structural-functional decomposition and a systems approach, three main classes (hierarchical levels) of intelligent agents are identified: data preparation and feature formation agents, forecasting model construction and tuning agents, and agents for cooperation and assessing the uncertainty of model forecasts. Formalization of IMAIS architectures and an integral multicriteria quality indicator are proposed, taking into account the effectiveness of data preparation, the adequacy of dynamic forecasting, and the calibration of uncertainty regions. Hypotheses regarding the advantages of role-based agent decomposition are formulated, and a theorem on the Pareto optimality of a hierarchical IMAIS with specialized classes of agents according to the weighted average integral quality criterion is proved. Based on this formalization, corresponding scenario-oriented agent benchmark IMAS-SCOPE (Intelligent Multi-Agent Systems — Scenario Consistency & Optimal Prediction Evaluation) is developed for comparing alternative architectures of multi-agent forecasting systems. An example of the experimental implementation of IMAIS in the Kaggle environment for scenarios based on real data of the first wave of COVID-19 incidence data in Ukraine is presented. It is shown that for the forecast of a sharp decline after a rapid increase in the number of new patients, the full-fledged scenario architecture A3 provides 2.3 times better forecasting accuracy by the WAPE metric averaged over 2 weeks, 31 % better estimation consistency and uncertainty calibration, and 36% better value of the integral utility criterion compared to the basic architecture A1 for the forecasting scenario of a sharp decline immediately after a rapid increase. Thus, the numerical example demonstrates improved forecasting accuracy (reduced WAPE), enhanced reliability (better calibration of uncertainty intervals), and increased forecast consistency across different time intervals, which jointly support the ion of a forecasting system with higher predictive quality and forecast credibility. The obtained results confirm the feasibility of using LLM-driven multi-agent architectures and specialized benchmarks for scenario-based forecasting tasks under high uncertainty.

Підвищення точності, надійності та узгодженості сценарного прогнозування часових рядів з високою невизначеністю є однією з ключових проблем сучасних систем підтримки прийняття рішень. Особливу складність такі задачі становлять за наявності пропусків даних, лагових ефектів, змінної сезонності, структурних зламів і необхідності врахування зовнішніх контекстних знань, які часто представлені у текстовій формі. Традиційні методи прогнозування, орієнтовані на оптимізацію окремих моделей, зазвичай не забезпечують узгодженості прогнозів і коректного оцінювання невизначеності в сценарному аналізі. У роботі запропоновано знання-орієнтовану ієрархічну мультиагентну інтелектуальну систему (ІМАІС) сценарного прогнозування часових рядів, у якій великі мовні моделі (LLM) використовуються як спеціалізовані інтелектуальні агенти з чітко розподіленими ролями, які не перетинаються. На основі структурно-функціональної декомпозиції та системного підходу виділено три основні класи (рівні ієрархії) інтелектуальних агентів: агенти підготовки даних та формування ознак, агенти побудови та налаштування прогнозних моделей і агенти кооперації та оцінювання невизначеності прогнозів моделей. Запропоновано формалізацію архітектур ІМАІС та інтегральний багатокритеріальний показник якості, що враховує ефективність підготовки даних, адекватність прогнозування динаміки та каліброваність зон невизначеності. Сформульовано гіпотези щодо переваг рольової декомпозиції агентів і доведено теорему про Парето-оптимальність ієрархічної ІМАІС зі спеціалізованими класами агентів за середньозваженим інтегральним критерієм якості з додатними вагами. На основі цієї формалізації розроблено відповідний сценарно-орієнтований агент-бенчмарк IMAS-SCOPE (Intelligent Multi-Agent Systems — Scenario Consistency & Optimal Prediction Evaluation), призначений для порівняння альтернативних архітектур мультиагентних систем прогнозування. Наведено приклад експериментальної реалізації ІМАІС у середовищі Kaggle для сценаріїв на основі реальних даних першої хвилі захворюваності на COVID-19 в Україні. Показано, що для прогнозу різкого спаду після стрімкого зростання приросту кількості нових хворих повноцінна сценарна архітектура A3 забезпечує кращу у 2—3 рази точність прогнозування за метрикою WAPE, усередненою за 2 тижні, кращу на 31 % узгодженість оцінювання і каліброваність невизначеності та краще на 36 % значення інтегрального критерію корисності порівняно з базовою архітектурою A1 за сценарієм прогнозування різкого спаду одразу після стрімкого зростання. Отже, на прикладі доведено підвищення точності (зменшення WAPE), надійності (більша каліброваність зон невизначеності) та узгодженості прогнозів (за даними різних часових інтервалів), що в цілому забезпечує вибір системи з вищою якістю прогнозування і може бути також інтерпретовано і як вибір системи з вищою достовірністю прогнозів. Отримані результати підтверджують доцільність використання LLM-керованих мультиагентних архітектур і спеціалізованих бенчмарків для задач сценарного прогнозування в умовах високої невизначеності.