Масштабування алгоритмів машинного навчання в середовищі Big Data

Abstract

Проаналізовано підходи до масштабування алгоритмів машинного навчання в середовищі Big Data, зокрема парадигму паралелізму даних і механізми розподіленого навчання. Розглянуто проблему синхронізації параметрів у процесі оптимізації на основі Stochastic Gradient Descent. Запропоновано метод адаптивної гібридної синхронізації, що передбачає динамічне регулювання обміну даними між вузлами кластера з урахуванням характеристик системи. Наведено результати експериментальної перевірки ефективності підходу.

This paper explores approaches to scaling machine learning algorithms within Big Data environments, specifically focusing on the data parallelism paradigm and distributed learning mechanisms. The study addresses the challenge of parameter synchronization during optimization based on Stochastic Gradient Descent (SGD). An adaptive hybrid synchronization method is proposed, featuring dynamic regulation of data exchange between cluster nodes contingent upon system performance characteristics. Experimental results are provided to validate the effectiveness and computational efficiency of the proposed approach.