Розробка модуля кластеризації новин для системи JetIQ

Abstract

У статті представлено розробку програмного модуля для автоматизованої кластеризації новин в інформаційно-аналітичній системі JetIQ. Запропоноване рішення базується на використанні методів обробки природної мови, векторного представлення текстів (embeddings), алгоритму K-Means та локальної великої мовної моделі Llama 3.1. Розроблений модуль забезпечує автоматичне групування новин за тематикою, фільтрацію шумового контенту та генерацію назв сформованих категорій. Програмну реалізацію виконано мовою Python із використанням FastAPI та REST API архітектури.

The paper presents the development of a news clustering module for the JetIQ information system. The proposed solution is based on natural language processing methods, text embeddings, the K-Means clustering algorithm, and the local large language model Llama 3.1. The developed module provides automatic thematic grouping of news articles, noise filtering, and generation of cluster labels. The software implementation is developed in Python using FastAPI and