Algorithms for searching and analysing information from open sources in the context of cyber threats

Abstract

У статті представлено розробку алгоритму пошуку та аналізу інформації з відкритих джерел в умовах кіберзагроз. Запропонований алгоритм є ефективним інструментом для виявлення, моніторингу, оцінки та нейтралізації загроз у цифровому середовищі. У роботі описано основні етапи алгоритму, що включають: швидкий доступ до релевантної інформації, оцінку достовірності даних, аналіз трендів, визначення зв’язків між об’єктами, прогнозування потенційних загроз. Розробка алгоритму передбачала пошук та аналіз інформації з відкритих джерел; фільтрацію шуму; контекстний аналіз, перехресну перевірку для підвищення достовірності результатів; побудову графів зв’язків для виявлення залежності між об’єктами і визначення їх потенційної небезпеки. Ці задачі були реалізовані за допомогою збору даних через API (Application Programming Interface), веб скрейпинг (BeautifulSoup), використання пошукових операторів, обробки даних із застосуванням NLP-інструментів (Natural Language Processing), класифікації за допомогою моделей машинного навчання та регулярних виразів. У статті проаналізовано отриману інформацію за допомогою графів зв’язків, визначено ключові об’єкти та оцінено достовірність джерел. Розроблений алгоритм забезпечує скорочення часу пошуку та аналізу інформації, підвищення релевантності й точності отриманих даних, а також ефективну підтримку рішень у сфері кібербезпеки. Як приклад, алгоритм був застосований для моніторингу підозрілих вакансій на платформі LinkedIn, де були виявлені фішингові оголошення, що містили недійсні посилання або неправдиву інформацію. Використання API LinkedIn та веб скрейпинг дозволило автоматизувати збір вакансій та порівняти їх з базою даних відомих фішингових веб сайтів. Розроблений алгоритм дозволяє скоротити час пошуку та аналізу інформації порівняно з ручними методами. Впровадження таких рішень сприяє запобіганню кіберзагрозам і забезпеченню безпеки в цифровому середовищі. Алгоритм дозволяє значно підвищити ефективність роботи з відкритими джерелами, забезпечуючи автоматизований процес збору, обробки та аналізу даних для подальшої оцінки загроз.The article presented the development of an algorithm for searching and analysing information open sources in the context of cyber threats. The proposed algorithm is an effective tool for detecting, monitoring, assessing and neutralising threats in the digital environment. The work described the main stages of the algorithm, which include: quick access to relevant information, assessment of data reliability, trend analysis, identification of connections between objects, and prediction of potential threats. The development of the algorithm involved searching for and analysing information open sources; noise filtering; contextual analysis and cross-checking to improve the reliability of results; and constructing relationship graphs to identify dependencies between objects and determine their potential danger. These tasks were implemented by collecting data through API (Application Programming Interface), web scraping (BeautifulSoup), using search operators, processing data with NLP (Natural Language Processing) tools, and classification using machine learning models and regular expressions. The article analysed the information obtained using relationship graphs, identifies key objects and evaluates the reliability of sources. The developed algorithm reduced the time required for searching and analysing information, increased the relevance and accuracy of the data obtained, and provides effective support for cybersecurity decisions. As an example, the algorithm was applied to monitor suspicious job postings on the LinkedIn platform, phishing ads containing invalid links or false information were detected. The use of the LinkedIn API and web scraping made it possible to automate the collection of job postings and compare them with a database of known phishing websites. The developed algorithm reduced the time spent searching for and analysing information compared to manual methods. The implementation of such solutions helps prevent cyber threats and ensure security in the digital environment. The algorithm significantly improves the efficiency of working with open sources, providing an automated process for collecting, processing, and analysing data for further threat assessment.