Інформаційна технологія пошуку можливих джерел підвищеного забруднення річки з використанням моделі Prophet

Abstract

Зміни клімату зумовили низку маловодних років та, відповідно, зменшення кількості води для розбавлення антропогенних забруднень. Отже, актуальнішими стають дослідження, спрямовані на виявлення основних джерел забруднення з метою їх негайного регулювання. Більше того, відповідно до Водної рамкової директиви ЄС, яку, згідно з Угодою про асоціацію з ЄС, зобов’язана виконувати й Україна, необхідно найближчим часом виробити комплекс дій для досягнення чи стабілізації не нижче доброго екологічного стану в усіх масивах вод. В Україні, як і в багатьох інших країнах Європи, система моніторингу якості вод не забезпечує достатньої кількості даних регулярних спостережень для локалізації у просторі та часі усіх, у т.ч. незареєстрованих, джерел підвищеного забруднення, що ускладнює реалізацію політики їх регулювання. Отже, важливо створити інформаційну технологію пошуку можливих джерел підвищеного антропогенного навантаження на річку за даними регулярних спостережень якості води у басейні заданої річки. Проведений аналіз показав, що таким даним властива зміна періодичності спостережень (особливо у довгостроковій перспективі у десятки років), існує практика одномоментних спостережень (раз на квартал чи півроку, щоразу в різний час), багато пропущених даних тощо, що унеможливлює застосування типових для подібних задач множинних регресій та моделей часових рядів на основі авторегресії та проінтегрованого ковзного середнього (АРПКС). Запропоновано використовувати модель та пакет програм Prophet компанії Facebook для R та Python, яка позбавлена усіх зазначених недоліків і є оптимальною для розв’язання поставленої задачі. Розроблено та охарактеризовано методологію її застосування, яка полягає в моделюванні даних моніторингу з фільтруванням різних видів сезонності та виділенні лінійного тренду між точками зміни, перше наближення кожної з яких задається на початку інтервалів в один чи декілька років, залежно від кількості наявних даних. Ідентифіковані тренди між цими точками зіставляються за різними показниками на кожному посту спостережень та за спеціально розробленим алгоритмом виявляються найбільші прирости трендів («імпульси»), які потім спричиняють монотонне наростання забруднення аж до сьогодні. Виявлені дати таких «імпульсів» масштабуються та агрегуються за різними показниками, що дозволяє на кожній ділянці між постами визначити дату появи джерела забруднення і потім, за іншими даними, із залученням відповідних контролюючих служб, точніше ідентифікувати джерело підвищеного забруднення річки у певний час. Розроблено програму на Python, на якій перевірена працездатність створеної технології виявляти такі «імпульси» на прикладі ділянки р. Південний Буг від витоку до м. Вінниця за даними державної системи моніторингу якості вод за 2002—2019 роки та подано успішні результати її роботи.

Climate change has led to many low-water years and, consequently, a decrease of the volume of water to dilution an-thropogenic pollution. Thus, research aimed at identifying the main sources of pollution to regulate them immediately is becoming increasingly important. Moreover, according to the EU Water Framework Directive, which, according to the Asso-ciation Agreement with the EU, Ukraine is obliged to comply with, it is necessary to develop a set of actions soon to achieve or stabilize at least good environmental status in all water bodies. In Ukraine, as in many other European countries, the water quality monitoring system does not provide a sufficient amount of regular observation data for localization in space and time of all, including unregistered, sources of increased pollution, which complicates the implementation of the policy of their regulation. Therefore, it is important to create information technology to find possible sources of increased anthropo-genic pressure on the river according to regular observations of water quality in the basin of a given river. The analysis showed that such data is characterized by a change in the frequency of observations (especially in the long run for dec-ades), there is a practice of one-time observations (once a quarter or six months, each time at different times), many missed data, etc., which makes it impossible to use typical similar problems of multiple regressions and time series models based on autoregression and integrated moving average (ARIMA). It is proposed to use Facebook's Prophet model and package for R and Python, which is devoid of all these short-comings and is optimal for solving this problem. The methodology of its application is developed and characterized, which consists in the modeling of monitoring data with filtering of different types of seasonality and allocation of a linear trend between change points, the first approximation of each of which is set at the beginning of intervals in one or several years, depending from the amount of available data. The identified trends between these points are compared by different indicators at each observation post and a specially developed algorithm reveals the largest increases in trends ("pulses"), which then cause a monotonous increase in pollution up to this time. The detected dates of such "pulses" are scaled and aggregated by different indicators, which allows to determine the date of occurrence of the source of pollution at each section between posts and then, according to other data with the involvement of relevant control services, more accurately identify the source of increased river pollution, at present. A program in Python was devel-oped, which tested the efficiency of the technology to detect such "impulses" on the example of the Southern Bug River from its source to Vinnytsia according to the state water quality monitoring system for 2002-2019 and presents the successful results of its work.

Изменения климата обусловили ряд маловодных лет и, соответственно, уменьшение количества воды для разбавления антропогенных загрязнений. Поэтому, все более актуальными становятся исследования, направ-ленные на выявление основных источников загрязнения с целью немедленного регулирования. Более того, со-гласно с Водной рамочной директивой ЕС, которую, в соответствии с Соглашением об ассоциации с ЕС, обяза-на выполнять и Украина, необходимо в ближайшее время выработать комплекс действий для достижения или стабилизации не ниже хорошего экологического состояния во всех массивах вод. В Украине, как и во многих других странах Европы, система мониторинга качества вод не обеспечивает достаточного количества данных регулярных наблюдений для локализации в пространстве и времени всех, в т.ч. незарегистрированных, источ-ников повышенного загрязнения, что затрудняет реализацию политики их регулирования. Поэтому важно соз-дать информационную технологию поиска возможных источников повышенной антропогенной нагрузки на реку по данным регулярных наблюдений качества воды в бассейне заданной реки. Проведенный анализ показал, что таким данным присуще изменение периодичности наблюдений (особенно в долгосрочной перспективе в десятки лет), существует практика одномоментных наблюдений (раз в квартал или полгода, каждый раз в разное вре-мя), много пропущенных данных и др., что делает невозможным применение типичных для подобных задач мно-жественных регрессий и моделей временных рядов на основе авторегрессии и проинтегрированного скользяще-го среднего (АРПСС). Предложено использовать модель и пакет программ Prophet компании Facebook для R и Python, лишенную всех указанных недостатков и являющуюся оптимальной для решения поставленной задачи. Разработаны и охарактеризованы методология ее применения, заключающаяся в моделировании данных мони-торинга с фильтрацией различных видов сезонности и выделении линейного тренда между точками изменения, первое приближение каждой из которых задается в начале интервалов в один или несколько лет, в зависимости от количества имеющихся данных. Идентифицированные тренды между этими точками сопоставляются по разным показателям на каждом посту наблюдений и по специально разработанному алгоритму выявляются самые большие приросты трендов «импульсы», вызывающие затем монотонное нарастание загрязнения до сего времени. Обнаруженные даты таких «импульсов» масштабируются и агрегируются по разным показате-лям, что на каждом участке между постами дает возможность определить дату появления источника загряз-нения и затем, по другим данным, с привлечением соответствующих контролирующих служб, более точно идентифицировать источник повышенного загрязнения реки в настоящее время. Разработана программа на Python, на которой проверена эта способность созданной технологии выявлять такие «импульсы» на примере участка р. Южный Буг от истока до г. Винница по данным государственной системы мониторинга качества вод за 2002—2019 гг. и приведены успешные результаты ее работы.