Метод обробки отоскопічних зображень з використанням октавної згортки та трансформерів

Abstract

Стаття присвячена розробці методу обробки отоскопічних зображень який поєднує октавні згортки для вилучення різночастотних ознак та візуальні трансформатори для моделювання глобального контексту. Пропонована гібридна архітектура об'єднує ефективний аналіз різночастотних ознак за допомогою октавних згорток та глобальне моделювання контексту за допомогою трансформерів. Октавний згортковий блок дозволяє ефективно обробляти зображення з широким діапазоном просторових частот, розділяючи карти ознак на високочастотну та низькочастотну групи. Це дозволяє знизити обчислювальні витрати, оскільки низькочастотна частина обробляється з меншою просторовою роздільною здатністю, при цьому зберігається обмін інформацією між потоками. Високочастотний потік фокусується на точних деталях, тоді як низькочастотний захоплює ширші, абстрактніші особливості, збагачуючи обидва представлення. Для моделювання глобального контексту використовується SwinTransformer, який забезпечує ієрархічну структуру ознак та лінійно-масштабоване захоплення глобального контексту, уникаючи обмежень традиційних трансформерів щодо високої роздільної здатності зображень. Проведено порівняння отриманих результатів із відомими SOTA-моделями та стандартними методами обробки зображень, такими як U-Net. Запропонований метод демонструє високу продуктивність та ефективність, особливо для задач, що вимагають обробки зображень високої роздільної здатності. Його обчислювальна складність є достатньо низькою завдяки роздільній обробці високочастотних та низькочастотних частин зображення, а також високою здатністю до збереження просторових деталей. Незважаючи на архітектурну складність та необхідність певних обчислювальних ресурсів для Swin-transformer, метод є перспективним для автоматизованої класифікації та діагностики патологій вуха.