<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Застосування архітектури трансформер до задачі super-resolution

Ескіз

Файли

Застосування архітектури трансформер до задачі super-resolution.pdf (1,1 MB)

Дата

2024

Автори


Назва журналу

Номер ISSN

Назва тому

Видавець

Вінницький національний технічний університет

DOI

https://doi.org/10.31649/2307-5376-2024-1-7-18

Анотація

Протягом останніх 15-ти років згорткові нейронні мережі є основним підходом для вирішення задач комп'ютерного зору, і демонструють високий рівень продуктивності. Проте, архітектура трансформер, яка показала високі досягнення в галузі обробки природної мови, знаходить все ширше застосування до задач комп'ютерного зору і демонструє співставні або кращі результати. Нами розглянуто застосування архітектури трансформер до задачі super-resolution, а також наведено короткий огляд попередніх підходів. Безпосереднє застосування оригінальної архітектури трансформер дозволило забезпечити продуктивність, співставну з актуальними згортковими нейронними мережами. Проте, ефективне застосування архітектури трансформер до задач комп'ютерного зору пов'язане з викликами, які витікають з відмінностей між візуальним і мовленнєвим доменами. Перша відмінність - масштаб, оскільки зображення містять візуальні елементи різних масштабів, це ускладнює їх обробку за допомогою архітектури трансформер, що аналогічно до обробки токенів в ОПМ, працює з фрагментами одного розміру. Друга – об’єм інформації, адже обчислювальна складність обрахунку самоуваги квадратична довжині вхідної послідовності, що стає особливо критичним при обробці зображень високої роздільної здатності. У статті проведено аналіз 12 робіт з цієї тематики, опублікованих починаючи з 2021 року, які пропонують підходи до усунення зазначених складнощів. В проаналізованих роботах можуть бути виділені наступні напрямки: дослідження застосування локальної уваги з вікнами різних форм, зокрема вікнами розрідженої уваги; дослідження канальної самоуваги та її поєднання з просторовою; дослідження можливості розширення архітектури трансформер за допомогою згорткових блоків. Означені дослідження дозволили суттєво збільшити якість відтворених зображень, проте не є вичерпними.

Опис

Ключові слова

super-resolution

УДК

004.8

Тип документа

Article

Мова

uk_UA

Є частиною

Наукові праці ВНТУ. № 1.

ISSN

2307-5376

Бібліографічний опис

Козлов С. Л., Колесницький О. К. Застосування архітектури трансформер до задачі super-resolution. Наукові праці ВНТУ. Електрон. текст. дані. 2024. № 1. URI: https://praci.vntu.edu.ua/index.php/praci/article/view/726.

URI

https://ir.lib.vntu.edu.ua/handle/123456789/42849

Зібрання

Наукові праці ВНТУ. 2024. № 1

Схвалення

Рецензія

Доповнено

Цитується в

Список використаної літератури (43)

  1. New edge-directed interpolation [Electronic resource] / Li Xin, M. T. Orchard // IEEE Transactions on Image Processing. – 2001. – Vol. 10, № 10. – P. 1521 – 1527. – Access mode : https://doi.org/10.1109/83.951537 (date of access: 15.02.2024).
  2. SoftCuts: A Soft Edge Smoothness Prior for Color Image Super-Resolution [Electronic resource] / Shengyang Dai, Mei Han, Wei Xu [et al.] // IEEE Transactions on Image Processing. – 2009. – Vol. 18, № 5. – P. 969 – 981. – Access mode : https://doi.org/10.1109/tip.2009.2012908 (date of access: 15.02.2024).
  3. Image super-resolution using gradient profile prior [Electronic resource] / Jian Sun, Zongben Xu, Heung-Yeung Shum // 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, 23–28 June 2008. – Access mode : https://doi.org/10.1109/cvpr.2008.4587659 (date of access: 15.02.2024).
  4. Super-resolution through neighbor embedding [Electronic resource] / Hong Chang, Dit-Yan Yeung, Yimin Xiong // Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004., Washington, DC, USA. – Access mode : https://doi.org/10.1109/cvpr.2004.1315043 (date of access: 15.02.2024).
  5. Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization [Electronic resource] / Weisheng Dong [et al.] // IEEE Transactions on Image Processing. – 2011. – Vol. 20, № 7. – P. 1838 –1857. – Access mode : https://doi.org/10.1109/tip.2011.2108306 (date of access: 15.02.2024).
  6. Fast image super resolution via local regression [Electronic resource] / Gu Shuhang, Sang Nong, Ma Fan // Proceedings of the 21st International Conference on Pattern Recognition, Tsukuba, 11–15 October 2012. – P. 3128 – 3131. – Access mode : https://ieeexplore.ieee.org/document/6460827 (date of access: 15.02.2024).
  7. ImageNet classification with deep convolutional neural networks [Electronic resource] / Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton // Communications of the ACM. – 2017. – Vol. 60, № 6. – P. 84 – 90. – Access mode : https://doi.org/10.1145/3065386 (date of access: 15.02.2024).
  8. Learning a Deep Convolutional Network for Image Super-Resolution [Electronic resource] / Dong Chao, Chen Change Loy, Kaiming He [et al.] // Computer Vision – ECCV 2014, 6–12 September 2014. – P. 184 – 199. – Access mode : https://doi.org/10.1007/978-3-319-10593-2_13 (date of access: 15.02.2024).
  9. Accurate Image Super-Resolution Using Very Deep Convolutional Networks [Electronic resource] / Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016. – Access mode : https://doi.org/10.1109/cvpr.2016.182 (date of access: 15.02.2024).
  10. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network [Electronic resource] / Christian Ledig, Lucas Theis; Ferenc Huszár [et al.] // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 21–26 July 2017. – Access mode : https://doi.org/10.1109/cvpr.2017.19 (date of access: 15.02.2024).