Експертне оцінювання якості графічних зображень

Abstract

У статті проаналізовано особливості застосування експертних метрик і методів для оцінювання якості зображень. Розглянуто основні аналітичні метрики, що базуються на обробці зображень, і недоліки їх використання для оцінювання якості візуалізації тривимірних сцен. Обґрунтовано необхідність застосування експертних метрик і методів для повноцінного тестування алгоритмів і моделей тривимірного рендерингу. Наведено числові та якісні вимоги до процесу підбору експертів. Проаналізовано методологію збору вхідних даних і особливості розрахунку експертних метрик якості зображень Mean Opinion Score, Difference Mean Opinion Score, Single-Stimulus Continuous Quality Evaluation, Double Stimulus Impairment Scale, Double-Stimulus Continuous Quality Score. Охарактеризовано переваги й недоліки використання експертних методів анкетування, до яких належать метод ранжування, метод нормування, метод попарного порівняння, методи на основі використання шкал Лайкерта, семантичного диференціалу. Продемонстровано використання методу ранжування для визначення ваг характеристик якості зображення, а також для упорядкування тривимірних зображень за рівнем якості рендерингу. Додатково, розглянуто обчислення коефіцієнта конкордації Кендалла для встановлення рівня узгодженості між експертами. Наведено приклад використання шкали Лайкерта для експертного оцінювання окремих аспектів якості рендерингу. Досліджено застосування дисперсійного аналізу для порівняння варіативності наборів оцінок якості графічних сцен. Розглянуто можливість здійснення групової експертизи, зокрема, на основі методу Дельфі, для оцінювання результатів застосування особливо складних алгоритмів тривимірної візуалізації. Наведені у статті методи й метрики призначені для оцінювання якості формування зображень у високопродуктивних і фотореалістичних системах рендерингу.