Імітаційне моделювання візуальних тернарних порівнянь для підвищення надійності колективних рішень в середовищі VisTerComp

Abstract

The analysis of a real dataset obtained using the VisTerComp web application developed by the authors was conducted, and two manifestations of unprofessionalism and expert dishonesty were identified: passivity of experts and randomness of the sassessments (H-manifestations). To study and reduce the negative impact of unreliable results of individual experts on the overall collective results of ranking alternatives, approaches to simulation modeling were developed and the corresponding simulation module was designed and implemented in the VisTerComp environment. Series of simulation experiments with zero and random visual ternary comparisons in different ratios were planned and conducted. Based on the analysis of the simulation results, tolerance areas in the space of parameters of passivity and contradiction of opinions for a different number of alternatives were determined. In order to increase the reliability of collective expert results and protect against H-manifestations in the VisTerComp information technology, a comparison of the calculated values of the indicators of incompetence, contradiction of opinions and passivity of experts with the specified maximum permissible values was proposed. Recommendations have been developed for ing parameter values tolerance areas, which allow filtering out unreliable individual results of experts with H-manifestations with a probability of up to 99%. A new option for excluding unreliable individual results has been proposed and implemented in the VisTerComp web application, which allows comparing the corresponding more reliable collective results of the examination with the general results for all experts. Further implementation of the VisTerComp web application in practice and in the educational process is planned for the purpose of the in-depth study of the impact of new options and settings on the reliability of collective expert decisions when using the information technology of ranking alternatives based on visual ternary comparisons.

Проаналізовано реальний датасет, отриманий з допомогою розробленого авторами вебзастосунку VisTerComp, і виявлено два прояви непрофесійності та експертної недоброчесності: пасивність експертів та рандомність оцінок (Н-прояви). Для дослідження та зменшення негативного впливу ненадійних результатів окремих експертів на загальні колективні результати ранжування альтернатив розроблено підходи до імітаційного моделювання та спроектовано і реалізовано відповідний модуль симуляції в середовищі VisTerComp. Сплановано і проведено серії імітаційних експериментів з нульовими та випадковими візуальними тернарними порівняннями в різних співвідношеннях. На основі аналізу результатів симуляції для різної кількості альтернатив визначено області толерантності в просторі параметрів пасивності і суперечливості думок. З метою підвищення надійності колективних експертних результатів та захисту від Н-проявів в інформаційній технології VisTerComp запропоновано порівняння обчислених значень показників некомпетентності, суперечливості думок і пасивності експертів із заданими максимально допустимими значеннями. Розроблено рекомендації щодо вибору значень параметрів із областей толерантності, які дозволяють з імовірністю до 99 % відфільтровувати ненадійні індивідуальні результати експертів з Н-проявами. Запропоновано і впроваджено у вебзастосунку VisTerComp нову опцію виключення ненадійних індивідуальних результатів, що дає змогу порівняти відповідні надійніші колективні результати експертизи із загальними результатами для всіх експертів. Заплановано подальше впровадження вебзастосунку VisTerComp на практиці та в навчальному процесі з метою поглибленого дослідження впливу нових опцій та налаштувань на надійність колективних експертних рішень у разі застосування інформаційної технології ранжування альтернатив на основі візуальних тернарних порівнянь.