Sensor data preprocessing pipeline for grain temperature monitoring and forecasting datasets in drying systems

Abstract

The quality of training data significantly affects the reliability of data-driven grain temperature forecasting systems. Sensor networks used in grain drying environments generate missing observations, measurement drift, and anomalous values caused by communication failures and sensor degradation. The absence of standardized preprocessing procedures reduces reproducibility and limits the practical applicability of predictive approaches. Purpose. The purpose of the study is to develop a methodology for sensor data collection and preprocessing intended for formation of datasets for grain temperature forecasting under continuous drying conditions. Objectives. The objectives include development of a multi-source monitoring architecture, justification of spatial sensor deployment, construction of a preprocessing pipeline for anomaly handling and missing value restoration, formation of feature vectors, and definition of a dataset partitioning strategy preserving temporal dependencies. Methods. The proposed methodology integrates digital temperature sensors, humidity sensors, carbon dioxide sensors based on non-dispersive infrared measurement, and meteorological data sources. Preprocessing consists of physical range validation, anomaly detection using the Isolation Forest algorithm, hierarchical missing value imputation, min-max normalization, cyclic temporal encoding, and chronological partitioning of datasets. Scientific novelty lies in the formalization of a topologic-spatiotemporal data validation framework that distinguishes local transducer degradation from collective thermal process transitions in non-stationary agricultural environments. This is achieved via a coupled multivariate Isolation Forest and neighbourhood graph co-occurrence heuristic that preserves high-frequency operational dynamics during continuous aeration adjustments. Practical significance. The methodology may be applied in monitoring systems for grain storage and drying installations and adapted to different silo geometries, sensor configurations, and environmental monitoring sources. Results. A monitoring architecture consisting of twelve temperature sensors arranged in three azimuthal rows and four depth levels was developed. The preprocessing procedure retained 92.5 percent of observations after anomaly filtering and missing value processing. The resulting dataset contained 34,984 usable epochs in the training partition and sixty-four features representing temperature history, neighbouring sensor values, meteorological variables, and cyclic temporal characteristics. Isolation Forest analysis identified 4.08 percent anomalous observations, of which 87.3 percent corresponded to isolated sensor faults. Conclusions. The developed methodology establishes a reproducible procedure for preparation of datasets intended for grain temperature forecasting tasks and reduces risks associated with temporal leakage, sensor faults, and inconsistent preprocessing of monitoring data. The proposed approach may serve as a basis for further development of predictive models for grain drying systems.

Якість навчальних даних суттєво впливає на надійність систем прогнозування температури зерна, що базуються на даних. Мережі датчиків, які використовуються в умовах сушіння зерна, генерують пропущені спостереження, дрейф вимірювань та аномальні значення, спричинені збоями зв’язку та зношуванням датчиків. Відсутність стандартизованих процедур попередньої обробки знижує відтворюваність результатів та обмежує практичну застосовність прогнозних підходів. Мета. Метою дослідження є розробка методології збору та попередньої обробки даних датчиків, призначеної для формування наборів даних для прогнозування температури зерна в умовах безперервної сушки. Завдання. Завдання включають розробку архітектури моніторингу з використанням декількох джерел, обґрунтування просторового розміщення датчиків, побудову конвеєра попередньої обробки для обробки аномалій та відновлення відсутніх значень, формування векторів ознак та визначення стратегії розбиття наборів даних із збереженням часових залежностей. Методи. Запропонована методологія інтегрує цифрові датчики температури, датчики вологості, датчики вуглекислого газу на основі недисперсійного інфрачервоного вимірювання та джерела метеорологічних даних. Попередня обробка складається з валідації фізичного діапазону, виявлення аномалій за допомогою алгоритму Isolation Forest, ієрархічного заповнення відсутніх значень, мінімально-максимальної нормалізації, циклічного часового кодування та хронологічного розбиття наборів даних. Наукова новизна полягає у формалізації топологічно-просторово-часової моделі перевірки даних, яка дозволяє відрізнити локальне погіршення характеристик датчиків від колективних переходів теплових процесів у нестаціонарних сільськогосподарських середовищах. Це досягається за допомогою поєднаної багатовимірної моделі «Ізольований ліс» та евристики співвипадковості сусідніх вузлів, що забезпечує збереження високочастотної динаміки роботи під час безперервного регулювання аерації Практичне значення. Методологія може бути застосована в системах моніторингу установок для зберігання та сушіння зерна та адаптована до різних геометрій силосів, конфігурацій датчиків та джерел моніторингу навколишнього середовища. Результати. Була розроблена архітектура моніторингу, що складається з дванадцяти датчиків температури, розташованих у трьох азимутальних рядах та на чотирьох рівнях глибини. Процедура попередньої обробки зберегла 92,5 % спостережень після фільтрації аномалій та обробки відсутніх значень. Отриманий набір даних містив 34 984 придатні епохи в навчальному розділі та шістдесят чотири ознаки, що представляють історію температури, значення сусідніх датчиків, метеорологічні змінні та циклічні часові характеристики. Аналіз методом «Ізольованого лісу» виявив 4,08 % аномальних спостережень, з яких 87,3 % відповідали ізольованим несправностям датчиків. Висновки. Розроблена методологія встановлює відтворювану процедуру підготовки наборів даних, призначених для завдань прогнозування температури зерна, та зменшує ризики, пов’язані з часовими витоками, несправностями датчиків та непослідовним попереднім обробленням даних моніторингу. Запропонований підхід може слугувати основою для подальшої розробки прогнозних моделей для систем сушіння зерна.