Удосконалення процесу анотування медичних зображень для задач сегментації за допомогою текстових підказок

Abstract

В даній роботі досліджується потенціал моделі Language Segment-Anything для визначення областей інтересу (англ.: ROI – Region of Interest) медичних зображень. Завдяки інтеграції текстових підказок (англ.: text prompts) у структуру Segment Anything Model (SAM) від Meta і розробці зручної для користувача програми з використанням Streamlit, дана робота ілюструє, як такий підхід дозволяє визначати псевдомаски регіонів інтересу без попереднього процесу розмітки даних. Це спрощує процес сегментації зображень, роблячи його швидшим, точнішим та доступнішим для користувачів. Вправність моделі Language Segment-Anything в обробці інструкцій природною мовою та її здатність зменшити потребу в ручному маркуванні даних має значний потенціал у галузі медичної візуалізації.

This work investigates the potential of the Language Segment-Anything model for extracting regions of interest (ROI) from medical images. By integrating text prompts into the Segment Anything Model (SAM) framework from Meta and developing a user-friendly application using Streamlit, this work demonstrates how such an approach enables the extraction of pseudomasks of regions of interest without the need for prior data annotation. This simplifies the image segmentation process, making it faster, more accurate, and more accessible for users. The proficiency of the Language Segment-Anything model in handling natural language instructions and its ability to reduce the need for manual data labeling holds significant promise for the field of medical imaging.