Застосування хмарних сервісів Google та платформи Colab для попередньої обробки і візуалізації великих масивів даних

Abstract

Здійснено аналіз можливостей використання екосистеми хмарних сервісів Google для побудови конвеєра обробки даних. Основна увага приділена інтеграції Google Drive, Google Sheets та середовища Google Colab. Розроблено методику автоматизованого обміну даними між хмарним сховищем та середовищем виконання Python-скриптів. Продемонстровано ефективність використання бібліотек Pandas та gspread для попередньої обробки ("очищення") даних та їх подальшої візуалізації. Отримані результати підтверджують доцільність використання запропонованого підходу для освітніх та наукових задач, що не вимагають розгортання дороговартісної серверної інфраструктури.

The paper deals with the application of the Google cloud services ecosystem for building a data processing pipeline. The main attention is paid to the integration of Google Drive, Google Sheets, and the Google Colab environment. A methodology for automated data exchange between cloud storage and the Python script execution environment has been developed. The effectiveness of using Pandas and gspread libraries for data preprocessing ("cleaning") and subsequent visualization is demonstrated. The results confirmed the feasibility of using the proposed approach for educational and scientific tasks that do not require the deployment of expensive server infrastructure.