Використання CPU, GPU, TPU для навчання нейронних мереж

Abstract

У даній роботі було досліджено різні типи обчислювальних систем які використовуються при навчанні нейронних мереж. Процес тренування моделі передбачає надзвичайно велику кількість математичних операцій, тому час навчання потенційно може тривати дуже довго.

In this work, various types of computing systems used in training neural networks were investigated. The process of training a model involves an enormous number of mathematical operations, hence the training time potentially can take a very long time.