Консолідоване ранжування сучасних хмарних онлайн-сервісів розпізнавання об’єктів на зображеннях

Abstract

Автоматизація розпізнавання об’єктів на зображеннях є доволі поширеною задачею з очевидним практичним застосуванням у промисловому виробництві, медицині, транспорті, безпеці та інших галузях. Сьогодні існує кілька хмарних сервісів, які пропонують онлайн-інструменти для вирішення різних завдань, пов’язаних з розпізнаванням зображень. Вони мають низку переваг над традиційними інструментами. Наразі відсутні методи, які б дозволили користувачу виявити, якій саме хмарний сервіс найкраще підходить під його задачі. При цьому оцінювання має бути стислим і базуватися на використанні обмеженого набору профільних зображень. Відповідно типовий метод грубої сили, який потребує завантаження та аналізу великої кількості зображень є неприйнятним. Метод має ґрунтуватися на деталізованому аналізі результатів розпізнавання за малим набором тестових зображень з урахуванням особливостей хмарних сервісів. В роботі запропоновано метод ранжування хмарних сервісів за малих тестових датасетів. При цьому користувач формує тестові датасети з урахуванням профілю власних задач розпізнавання об’єктів. Запропонований метод базується на трьох частинних метриках, кожна з яких враховує ту чи іншу особливість хмарних сервісів. Перша метрика — це різниця між добутком рівнів впевненості правильно розпізнаних об’єктів та добутком рівнів впевненості хибно розпізнаних об’єктів. Друга метрика — це медіанне значення довжини списку виявлених об'єктів до першої помилки. Список об’єктів має бути відсортовано за спаданням впевненості. Перші дві частинні метрики є традиційними, а третя — новою. Фінальне рішення ухвалюється за консолідованим рейтингом, який агрегує три частинні метрики. Застосування методу ілюструється на задачі ранжування хмарних сервісів Microsoft Azure AI Vision Studio, Amazon Rekognition, Google Cloud Vision та Imagga.

Automating the object recognition in images is a widely encountered task with evident practical applications in industrial production, medicine, transportation, security, safety, and other fields. Today, there are several cloud services that offer online tools for solving various image recognition tasks. They have several advantages over traditional tools. Today, there are no methods that allow users to identify which cloud service is best suited for their tasks. Moreover, the identification should be concise and based on small set of profile images. Accordingly, a typical brute-force method that requires uploading and analyzing a large number of images is unacceptable. The method should be based on a detailed analysis of the recognition results using a small set of test images, taking into account the features of cloud services. This paper proposes a method for ranking cloud services using small test datasets. In this case, the user forms test datasets that take into account the profile of his or her object recognition tasks. The proposed method is based on three particular metrics, each of which takes into account some features of cloud services. The first metric is the difference between the sum of the confidence levels of correctly recognized objects and the sum of the confidence levels of incorrectly recognized objects. The second metric is the accuracy. The third metric is the median of the length of the service output until the first misrecognized object. The objects should be sorted in descending order of confidence. The first two metrics are traditional, the third metric is new. The final decision is made based on a consolidated score that aggregates the 3 metrics. The application of the method is illustrated by the task of ranking the following cloud services: Microsoft Azure AI Vision Studio, Amazon Rekognition, Google Cloud Vision, and Imagga.