Інформаційна технологія прискореного анотування медичних зображень в задачах сегментації на основі моделей глибокого навчання

Abstract

The paper analyzed tools for creating annotations of medical images in image segmentation tasks. The performance of the well-known tools Supervisely, CVAT, and Segments.ai is compared with the information technology proposed in the work, which uses the Language Segment-Anything model with relevant text prompts and an automatic validation mechanism, based on the EfficientNet-B2 classification model. The main objective of the study was to determine the optimal approach to the automation of the image annotation process to ensure maximum speed, maintaining expert accuracy. The results showed that usage of the Supervisely tool reduced the initial annotation time to 39.7 seconds, but required additional 59.5 seconds to adjust the masks. CVAT, with its semi-automated tools, produced masks in 64.8 seconds, but required another 85.1 seconds for adjustments. In comparison, Segments.ai required a full manual annotation, which took 130.2 seconds. At the same time, the developed information technology, which uses the Language Segment-Anything model with task-specific text prompts and an additional automatic validation mechanism, significantly reduced the time for creating annotations to about 29.6 seconds per image, and also reduced the time for manual correction to 45.4 seconds. The developed information technology demonstrated high speed and accuracy in creating pseudo-masks, confirmed by experimental results. The main advantages of this approach are the decrease of time, needed for manual correction and increase the efficiency of the medical image annotation process. This work points out to the significant potential of using automated methods to accelerate annotation in the field of computer vision, improving the speed of performing medical data analysis tasks while maintaining the desired quality

Проаналізовано інструменти для створення анотацій медичних зображень у задачах сегментації зображень. Проведено порівняння продуктивності відомих інструментів Supervisely, CVAT та Segments.ai із запропонованою у роботі інформаційною технологією, яка використовує модель Language Segment-Anything з релевантними текстовими підказками і механізмом автоматичного валідування на основі моделі класифікації EfficientNet-B2.

Основною метою дослідження було визначення оптимального підходу до автоматизації процесу анотування зображень для забезпечення максимальної швидкості зі збереженням експертної точності. Результати показали, що використання інструмента Supervisely дозволило скоротити час на первинну анотацію до 39,7 секунд, але вимагало додаткових 59,5 секунд на корегування масок. CVAT, зі своїми напівавтоматичними інструментами, забезпечував створення масок за 64,8 с, але потребував ще 85,1 с на корегування. У порівнянні з ними, Segments.ai вимагав повної ручної анотації, що тривала 130,2 с. Водночас, розроблена інформаційна технологія, яка використовує модель Language Segment-Anything з налаштованими під задачу текстовими підказками та додатковий механізм автоматичного валідування, значно знизила час на створення анотацій – до близько 29,6 с на зображення, а також знизила час на ручне корегування до 45,4 с.

Розроблена інформаційна технологія продемонструвала високу швидкість та точність у створенні псевдомасок, підтверджену експериментальними результатами. Основні переваги цього підходу полягають у зменшенні необхідності в ручному корегування та підвищенні ефективності процесу анотування медичних зображень.

Це дослідження вказує на значний потенціал застосування автоматизованих методів для прискорення анотування у сфері комп`ютерного зору, сприяючи покращенню швидкості виконання завдань аналізу медичних даних зі збереженням потрібної якості.