Аналіз соціальних джерел для виявлення прихованих спільнот і трендів

Abstract

The abstract presents a comprehensive study of social network analysis (SNA) methods for identifying hidden communities and detecting trends. It considers modern algorithmic approaches to community detection (structural, stochastic, and modularity optimization methods), methods for studying the temporal dynamics of networks, and algorithms for identifying trends in text streams on social platforms (methods of thematic modelling, word embeddings, transformers, and anomaly detection algorithms). The advantages and limitations of the main approaches are analyzed, experimental scenarios for assessing detection quality (modularity, NMI, ARI) and approaches to data synthesis and combating noise and bots are described. The results of a comparison of classical and modern algorithms (Girvan– Newman, Louvain/Leiden, spectral methods, dynamic approaches) in the context of social language data are presented, and a methodology for a combined approach is proposed: graph-based community detection combined with semantic clustering (LDA/BERTopic/transformer embeddings) to improve the detection of ‘hidden’ communities and early detection of trends. The practical part contains recommendations on the selection of tools, data requirements and validation procedures for use in research and applied monitoring systems.У тезах представлено комплексне дослідження методів аналізу соціальних мереж (Social Network Analysis, SNA) для виявлення прихованих спільнот і виявлення трендів. Розглянуто сучасні алгоритмічні підходи до детекції спільнот (структурні, стохастичні та методи оптимізації модульності), методи вивчення тимчасової динаміки мереж і алгоритми для виявлення трендів у текстових потоках соціальних платформ (методи тематичного моделювання, ембеддинги слів, трансформери та алгоритми виявлення аномалій). Проведено аналіз переваг і обмежень основних підходів, описано експериментальні сценарії для оцінки якості детекції (модульність, NMI, ARI) та підходи до синтезу даних і боротьби з шумом і ботами. Представлено результати порівняння класичних і сучасних алгоритмів (Girvan–Newman, Louvain/Leiden, спектральні методи, динамічні підходи) у контексті соціально-мовних даних, а також запропоновано методологію комбінованого підходу: графова детекція спільнот у поєднанні з семантичним кластеруванням (LDA/BERTopic/transformer-ембеддинги) для поліпшення виявлення "прихованих" спільнот і раннього виявлення трендів. Практична частина містить рекомендації щодо вибору інструментів, вимог до даних та процедур валідації для застосування в дослідженнях та прикладних системах моніторингу.