Самовалідований U-GAN для трансформації цільового класу в задачах сегментації

Abstract

Розглянуто проблему браку даних для навчання автоматизованих інтелектуальних систем у різ-них специфічних сферах, таких як медицина, аналіз супутникових знімків, аграрна галузь, екологія, мова. Описано сучасні методи розв’язання цієї проблеми, зокрема аугментація, генеративні змагальні мережі, дифузійні моделі, інпейнтинг. Основну увагу приділено задачі сегментації, де, окрім зображен-ня, необхідно створювати маски для нових об’єктів. Також зазначено проблему суб’єктивного і ручно-го процесу вибору найкращої епохи під час навчання моделі, і окреслено альтернативи, які можуть допомогти вирішити цю проблему, такі як inception score та frechet inception distance. Запропоновано покращену модель часткової трансформації цільового класу сегментації, яка включає нові компоненти самовалідації, такі як додаткова функція втрат, що контролює схожість вихідного зображення на вхідне, претреновану модель сегментації і метрику для оцінки якості згене-рованих масок з масками сегментації згенерованих зображень. Ці вдосконалення дозволяють системі ефективніше перетворювати фоновий або нульовий клас у цільовий, створювати точніші сегмен-таційні маски та автоматично вибирати найкращі епохи під час навчання. Експерименти на наборі даних панорамних знімків зубів показали, що використання цієї технології дозволило збільшити точність сегментації пломб на 0,9 %, підвищивши значення коефіцієнта Жак-кара з 90,5 % до 91,4 %. Модель генеративної змагальної мережі тренувалася впродовж 150 епох з автоматичним вибором кращої епохи, якою була 135-та епоха. Якість згенерованих зображень цієї епохи була підтверджено експертною оцінкою. На супутникових знімках кораблів використання моде-лі показало підвищення точності сегментації з 63,4 % до 65,2 %. Незважаючи на складність даних, модель змогла адекватно трансформувати вхідні дані порожнього моря в об’єкти кораблів. Найкращі результати досягнуто на 82-й епосі, що також збіглося з вибором найкращої епохи експертом, де-монструючи важливість автоматичного вибору оптимальної епохи під час навчання для вилучення з цього процесу додаткових суб’єктивних факторів та прискорення підготовки моделей. Ці результати підтверджують ефективність запропонованого підходу, демонструючи поліпшен-ня метрик в задачах сегментації та автоматизацію процесу вибору моделі. Запропоновані методи та підходи мають потенціал для широкого застосування у різних сферах, сприяючи розвитку нових інтелектуальних систем та підвищенню їхньої точності.

The paper addresses the problem of data scarcity for training automated intelligent systems in various spe-cific fields such as medicine, satellite image analysis, agriculture, ecology, and language. It describes modern methods for solving this problem, including augmentation, generative adversarial networks, diffusion models, and inpainting. The focus is on the task of segmentation, where it is necessary to create masks for new objects in addition to the image. The subjective and manual process of selecting the best epoch during model training is also noted, and alternatives that can help solve this problem, such as inception score and frechet inception distance, are outlined. An improved model of partial transformation of the target class of segmentation is proposed, which in-cludes new self-validation components, such as an additional loss function that controls the similarity of the output image to the input one, a pretrained segmentation model, and a metric for assessing the quality of the generated masks with segmentation masks of generated images. These improvements allow the system to more effectively transform the background or zero class into the target one, create more accurate segmenta-tion masks, and automatically select the best epochs during training. Experiments on a dataset of panoramic tooth images showed that the use of this technology allowed in-creasing the accuracy of filling segmentation by 0.9 %, raising the Jaccard coefficient value from 90.5 % to 91.4 %. The generative adversarial network model was trained for 150 epochs with automatic selection of the best epoch, which was the 135th epoch, and the quality of the generated images of this epoch was con-firmed by expert evaluation. On satellite images of ships, the use of the model showed an improvement in segmentation accuracy from 63.4% to 65.2 %. Despite the complexity of the data, the model was able to adequately transform the input data of the empty sea into ship objects. The best results were achieved at the 82nd epoch, which also coincided with the expert's choice of the best epoch, demonstrating the importance of automatic selection of the optimal epoch during training to eliminate additional subjective factors from this process and speed up model preparation. These results confirm the effectiveness of the proposed approach, showing metrics improvements and better automation of the basic approach. The proposed methods and approaches have the potential for wide application in various fields, contributing to the development of new intelligent systems and increas-ing their accuracy.