Парсинг та опрацювання великих масивів даних із відкритих інтернет-сторінок

Abstract

Дослідження присвячене розробці методу парсингу великих обсягів даних із відкритих веб-джерел з подальшим їх збереженням у реляційну базу даних. Використано інструменти Puppeteer для збору динамічного контенту, Node.js для обробки даних та MySQL для структурованого зберігання. Оптимізація досягнута за рахунок паралельного виконання завдань (worker threads) та пачкової вставки даних.

The study focuses on developing a method for parsing large datasets from open web sources and storing them in a relational database. The tools used include Puppeteer for dynamic content extraction, Node.js for data processing, and MySQL for structured storage. Optimization is achieved through parallel task execution (worker threads) and batch data insertion.