Моделювання часових послідовностей з використанням реверсивних трансформерів
Вантажиться...
Файли
Дата
Назва журналу
Номер ISSN
Назва тому
DOI
Анотація
Показано актуальність проблеми оптимізації споживання пам'яті під час навчання моделей глибокого навчання для обробки часових послідовностей. Запропоновано архітектуру реверсивного часового трансформера, яка дозволяє відв'язати об'єм споживаної пам'яті від довжини часової послідовності завдяки механізму часово-агностичного зворотного поширення помилки.
There has been shown the relevance of the problem of optimizing memory consumption during the training of deep learning models for temporal sequence processing. A reversible temporal transformer architecture is proposed, which decouples memory footprint from temporal depth using a time-agnostic backpropagation strategy.
There has been shown the relevance of the problem of optimizing memory consumption during the training of deep learning models for temporal sequence processing. A reversible temporal transformer architecture is proposed, which decouples memory footprint from temporal depth using a time-agnostic backpropagation strategy.
Опис
УДК
Тип документа
Мова
ISSN
Бібліографічний опис
Кулик Л. Р., Мокін О. Б. Моделювання часових послідовностей з використанням реверсивних трансформерів // Матеріали LV Всеукраїнської науково-технічної конференції підрозділів ВНТУ, Вінниця, 24-27 березня 2026 р. Електрон. текст. дані. 2026. Електрон. текст. дані. 2026. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2026/paper/view/28275.
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (6)
- Aidan N. Gomez, Mengye Ren, et al “The Reversible Residual Network: Backpropagation Without Storing Activations” Advances in Neural Information Processing Systems, 30, NIPS 2017.
- Razvan Pascanu, Tomas Mikolov, Yoshua Bengio “On the difficulty of training recurrent neural networks” Proceedings of the 30th International Conference on Machine Learning, 2013.
- Ashish Vaswani, Noam Shazeer, et al “Attention is all you need” Advances in Neural Information Processing Systems, 30, NIPS 2017.
- David J. Foster, Matthew A. Wilson “Reverse replay of behavioural sequences in hippocampal place cells during the awake state” Nature, 440(7084), 2006.
- Diederik P. Kingma, Max Welling “Auto-Encoding Variational Bayes” International Conference on Learning Representations (ICLR), 2014.
- Leonid Kulyk “Temporal modeling with reversible transformers” Neural Computing and Applications, 2026.