Моделювання часових послідовностей з використанням реверсивних трансформерів

Abstract

Показано актуальність проблеми оптимізації споживання пам'яті під час навчання моделей глибокого навчання для обробки часових послідовностей. Запропоновано архітектуру реверсивного часового трансформера, яка дозволяє відв'язати об'єм споживаної пам'яті від довжини часової послідовності завдяки механізму часово-агностичного зворотного поширення помилки.

There has been shown the relevance of the problem of optimizing memory consumption during the training of deep learning models for temporal sequence processing. A reversible temporal transformer architecture is proposed, which decouples memory footprint from temporal depth using a time-agnostic backpropagation strategy.