Моделювання адаптивного тестування знань: поріг ефективності, рівень складності та час виконання завдань

Abstract

A comprehensive informational and analytical analysis has been conducted to evaluate the feasibility of implementing adaptive computer-based knowledge testing for specific academic disciplines in educational institutions. The shortcomings of the traditional approach, which imposes fixed time constraints for test completion without considering the individual characteristics of learners and potentially causing negative reactions among test participants, have been identified. Alternatively, an integral assessment approach is proposed, accounting for both task complexity and task completion time. An adaptive algorithm has been developed based on the efficiency threshold q, which determines the adjustment of the difficulty level for subsequent tasks depending on the integral evaluation result of the previous task. Simulation modeling was carried out using Python to verify the effectiveness of the proposed approach. A test dataset comprising tasks of three complexity levels was created, with completion times modeled according to the normal distribution. The analysis revealed that significant differences in task difficulty levels necessitate establishing separate efficiency thresholds for each category of questions, while minor differences allow for a single threshold for all test tasks. Parameter tuning for the integral assessment was performed within the test dataset, and the effectiveness of the proposed method was examined. It was noted that the obtained coefficients of the integral evaluation could serve as baseline values during the initial implementation phase of the system, with further optimization based on model training results during pilot testing. The described methodology demonstrates flexibility and ease of implementation, enabling parameter customization and effective adaptation to both the individual characteristics of learners and the specific requirements of individual disciplines. Furthermore, recording task completion times can serve as an additional tool for assessing the quality of test items.

Проведено комплексний інформаційно-аналітичний аналіз можливості впровадження адаптивного комп’ютерного тестування знань з окремих навчальних дисциплін у закладах освіти. Вказано на недоліки традиційного підходу, який передбачає встановлення фіксованих часових обмежень на виконання тесту, що не враховує індивідуальні особливості здобувачів освіти та може викликати негативну реакцію учасників тестування. Натомість розглянуто інтегральну оцінку тестування, яка враховує як рівень складності, так і час виконання окремого завдання. Запропоновано адаптивний алгоритм, який базується на порозі ефективності q, що визначає зміну рівня складності наступного завдання залежно від результату інтегральної оцінки попереднього. Для перевірки ефективності запропонованого підходу проведено імітаційне моделювання з використанням мови програмування Python. Створено тестову вибірку із завдань трьох рівнів складності, час виконання яких змоделювано за законом нормального розподілу. Проведений аналіз показав, що за значної різниці у рівнях складності завдань виникає потреба у встановленні окремого порогу ефективності для кожної категорії питань, тоді як у разі незначних відмінностей допустимо застосувати єдиний поріг для всіх завдань тесту. В межах тестової вибірки проведено налаштування параметрів інтегральної оцінки та досліджено ефективність запропонованого підходу. Зазначено, що отримані коефіцієнти інтегральної оцінки можуть виступати базовими на початковому етапі реалізації системи, з подальшою можливістю їхньої оптимізації на основі результатів навчання моделі в процесі тренувальних тестувань. Описана методика демонструє гнучкість і простоту впровадження, забезпечуючи можливість налаштування параметрів моделі та ефективну адаптацію як до індивідуальних особливостей здобувачів освіти, так і з урахуванням специфіки окремої дисципліни. До того ж фіксація часу виконання завдань може слугувати додатковим інструментом оцінювання якості тестових завдань.