Forecasting of time series using a neural network with parallel-stacked LSTM blocks

Abstract

Time series forecasting is crucial for supporting decisions in financial analytics, data is characterised by non-linearity, non-stationarity, and high noise levels. The purpose of the study was to determine the effective configuration of a recurrent neural network with a parallel combination of Long Short-Term Memory (LSTM) cell stacks to improve the accuracy of stock price forecasting, and the possibilities of applying the back-end model in industry, energy, and related domains. The study applied deep learning methods using the TensorFlow/Keras library, and used historical data Google shares to train the model. It was established that the architecture with parallel-stacked blocks provided higher learning stability compared to standard recurrent models due to more efficient allocation of technical features of the time sequence. It has been experimentally proven that the optimal number of neurons in the hidden layers for such a task was 100-200 units, while a further increase in the power of the model lead to a retraining effect. It was found that the use of dropout regularisation in the range of 0.1-0.2 minimised the error in the validation sample, while values over 0.3 significantly slowed down the convergence of the algorithm. Feature analysis showed that integrating an exponential moving average with a short time window improved the model result, showing a higher correlation with the target index than the relative strength index. The prediction quality of the model was evaluated by the Mean Squared error (MSE), the Root Mean Squared Error (RMSE), and the Mean Absolute Percentage Error (MAPE). It was found that configurations (50-100 blocks) were characterised by increased MAPE values, while in the range of 180-400 blocks the error decreased and became stable. The most accurate result was obtained for a configuration with 325 blocks, Dropout regularisation = 0.05 and Nadam optimiser (Nesterov-accelerated Adam): MAPE = 1.62%, RMSE = 2.41, MSE = 6.05. The practical significance of the study lied in the formulation of clear recommendations for setting up hyperparameters of LSTM models for applied short-term forecasting of financial series.Прогнозування часових рядів є критично важливими для підтримки рішень у фінансовій аналітиці, де дані характеризуються нелінійністю, нестаціонарністю та високим рівнем шуму. Метою роботи було визначення ефективної конфігурації рекурентної нейронної мережі з паралельним поєднанням стеків осередків Long Short-Term Memory (LSTM) для підвищення точності прогнозування цін акцій, а також можливостей застосування прикладної моделі в галузі промисловості, енергетиці та суміжних доменах. У дослідженні застосовано методи глибинного навчання з використанням бібліотеки TensorFlow/Keras, а для навчання моделі використано історичні дані акцій корпорації Google. Встановлено, що архітектура з паралельно-стекованими блоками забезпечує вищу стабільність навчання порівняно зі стандартними рекурентними моделями за рахунок ефективнішого виділення технічних ознак часової послідовності. Експериментально доведено, що оптимальна кількість нейронів у прихованих шарах для такої задачі становить 100–200 одиниць, тоді як подальше збільшення потужності моделі призводить до ефекту перенавчання. Виявлено, що застосування регуляризації Dropout у діапазоні 0,1-0,2 дозволяє мінімізувати помилку на валідаційній вибірці, у той час як значення понад 0,3 суттєво уповільнюють збіжність алгоритму. Аналіз інженерії ознак показав, що інтеграція експоненціального ковзного середнього з коротким вікном часу покращує результат моделі, демонструючи вищу кореляцію з цільовим показником, ніж індекс відносної сили. Якість прогнозування моделі оцінювали за середньоквадратичною помилкою (Mean Squared Error, MSE), коренем із неї (Root Mean Squared Error, RMSE) і середньою абсолютною відсотковою похибкою (Mean Absolute Percentage Error, MAPE). Встановлено, що для конфігурацій (50-100 блоків) характерні підвищені значення MAPE, тоді як у діапазоні 180-400 блоків похибка зменшується та набуває стабільного характеру. Найточніший результат отримано для конфігурації з 325 блоками, регуляризацією Dropout = 0,05 та оптимізатором Nadam (Nesterov-accelerated Adam): MAPE = 1,62 %, RMSE = 2,41, MSE = 6,05. Практична цінність дослідження полягає у формулюванні чітких рекомендацій щодо налаштування гіперпараметрів LSTM-моделей для прикладного короткострокового прогнозування фінансових рядів