Method for constructing a cognitive map of processes in a dynamic system using cooperation of large language models

Abstract

In the context of growing demands for rapid decision-making and in-depth analysis of complex dynamic systems – particularly when available data are limited and the involvement of experienced experts is either impractical or prohibitively expensive – the development of new methods for the construction of the model becomes especially relevant. The use of large language models (LLMs) as expert systems offers significant reductions in resource expenditure and accelerates the modelling of complex technical, environmental, and socio-economic systems. This study aimed to investigate and demonstrate the potential and capabilities of LLMs as expert systems in constructing cognitive maps. The article proposes and substantiates an architecture for the cooperation of LLM ensembles to formally generate vertices-variables and weight coefficients in cognitive maps, thereby enabling the automation of the modelling process without the involvement of human experts. A typical prompt for an LLM was decomposed into structural components: context description (D), model role instruction (R), instruction (I), conditions (C), and response format (F). A method for determining these components through expert-based analysis is proposed. A prompt system was developed to enable structured data processing and the identification of interrelationships among system elements. The practical effectiveness of the approach was demonstrated using a case study on forecasting water quality in the Sabarivske Reservoir near Vinnytsia. For most physicochemical indicators, the modelling showed low error rates (2.09-4.6%), even with a minimal amount of input data. The proposed method is promising for modelling and forecasting tasks in complex systems with limited data availability, particularly in environmental, socio-economic, and engineering contexts, where the speed of obtaining reliable results is critical for informed decision-making.

В умовах постійного зростання вимог до швидкого прийняття рішень і глибокого аналізу складних динамічних систем, коли доступні дані обмежені, а залучення досвідчених експертів часто є неможливим або занадто витратним, розроблення нових методів побудови моделей набуває особливої актуальності. Використання великих мовних моделей (LLM) як експертних систем дозволяє суттєво знизити ресурсні витрати та прискорити процес моделювання складних технічних, екологічних та соціально-економічних систем. Метою даної роботи було дослідження та практична демонстрація потенціалу та можливостей LLM, як експертних систем, у процесі побудови когнітивних карт. У даній роботі запропоновано та обґрунтовано архітектуру кооперації ансамблів LLM для формалізованого генерування вершин-змінних та вагових коефіцієнтів когнітивних карт, що дозволяє автоматизувати процес моделювання без залучення експертів-людей. Здійснено декомпозицію типового промпта (вказівки) до LLM на структурні складові: опис контексту (D), рольову настанову моделі (R), інструкцію (I), умови (C) та формат відповіді (F) та запропоновано підхід їх визначення експертним шляхом. Розроблено систему таких промптів, яка забезпечує структуроване оброблення даних та ідентифікацію взаємозв’язків між елементами системи. Практичну ефективність підходу продемонстровано на прикладі прогнозування стану води у Сабарівському водосховищі біля м. Вінниця, де для більшості фізико-хімічних показників моделювання продемонструвало малу похибку (2.09–4.60 %) навіть за мінімального обсягу вхідних даних. Запропонований метод є перспективним для задач моделювання та прогнозування у складних системах з обмеженим обсягом даних, зокрема в екологічних, соціально-економічних та інженерних сферах, де швидкість отримання надійних результатів має критичне значення для прийняття обґрунтованих рішень.