Автоматичне видобування знань з екологічних звітів з прив’язкою до часу та до просторових координат масивів вод

Abstract

The paper presents a new method for automatically extracting environmental knowledge from reports and news texts related to facts about the state of river waters or their pollution. Knowledge extraction is carried out taking into account the binding of the obtained facts to the spatial coordinates of specific water bodies and time intervals. The relevance of the work is due to the significant availability of such environmental data in the news, websites of institutions, and social media, and the need for their quick and accurate processing. The proposed method combines the detection of facts about the state of waters or their pollution, recognition of geographical names from the text and headlines, as well as the determination of time features by analyzing the hierarchical structure of the document. The method optimizes the contextual-semantic criterion, which maximizes the completeness and probability of detecting all existing connections between key phrases in the text of facts, time periods and water bodies and, at the same time, minimizes the number of false positive connections between them, by formalizing the connections in the form of “subject–predicate–object” (SPO) triplets and using the Jaccard measure to find the degree of similarity between the lists of key phrases that characterize these facts and water bodies. Knowledge extraction is based on identifying and using the hierarchical structure of the document, using large language models, and actualization the knowledge base with information with Retrieval-Augmented Generation (RAG) for regular knowledge update and binding to the time intervals and spatial coordinates. The result is a structured knowledge base in the form of “fact – water body – time interval” triplets, which can be used to analyze the dynamics of water status, identify trends, and make management decisions to improve the state of surface waters. The result of applying the proposed method is presented using the example of the annual report on the activities of the Southern Booh River Basin Water Resources Management for 2019, which illustrates its efficiency.

Запропоновано новий метод автоматичного видобування екологічних знань з текстів звітів та новин про факти щодо стану вод річок чи їхнього забруднення. Видобування знань здійснюється з урахуванням прив’язки отриманих фактів до просторових координат конкретних масивів вод і інтервалів часу. Актуальність роботи зумовлена значною доступністю таких екологічних даних у новинах, веб-сайтах установ та соціальних медіа, необхідністю їхнього швидкого та точного оброблення. Запропонований метод поєднує виявлення фактів про стан вод чи про їх забруднення, розпізнавання географічних назв з тексту та заголовків, а також визначення часових ознак за допомогою аналізу ієрархічної структури документа. Метод оптимізує контекстно-семантичний критерій, який максимізує повноту та ймовірність виявлення усіх наявних зв’язків між ключовими словосполученнями у тексті фактів, періодами часу і масивами вод та, одночасно, мінімізує кількість хибнопозитивних зв’язків між ними, за рахунок формалізації зв’язків у вигляді триплетів “subject–predicate–object” (SPO) та використання міри Жаккара для пошуку ступеня подібності між списками ключових словосполучень, що характеризують ці факти і масиви вод. Видобування знань основано на виявленні і використанні ієрархічної структури документа, використанні великих мовних моделей, на актуалізації бази знань інформацією з використанням методу генерації з доповненням через пошук (RAG) для регулярного оновлення знань та їхньої прив’язки до періоду часу і просторових координат. Результатом є структурована база знань у вигляді триплетів «факт–масив вод–інтервал часу», який може використовуватися для аналізу динаміки стану вод, виявлення тенденцій та ухвалення управлінських рішень щодо поліпшення стану поверхневих вод. Наведено результат застосування запропонованого методу на прикладі річного звіту про діяльність Басейного управління водних ресурсів річки Південний Буг за 2019 рік, який проілюстрував його працездатність.