Інформаційна технологія перевірки відповідей в інтелектуальній автоматизованій системі контролю знань

Abstract

Досліджено процес перевірки відповідей в системах тестування на запитання «відкритого» типу (коротка текстова відповідь, есе). Проведено аналіз автоматизованих систем, в яких реалізовано цей процес. Визначено обмеження їх застосування для контролю рівня знань з технічних дисциплін. Аргументовано актуальність досліджень щодо застосування методів «нечіткого» порівняння рядків в задачах перевірки відповідей, поданих у довільній текстовій формі. Запропоновано інформаційну технологію перевірки таких відповідей інтелектуальної автоматизованої системи контролю рівня знань у вигляді структурної поетапної схеми процесу обробки вхідної відповіді. Наведено обчислювальні алгоритми кожного етапу обробки, виконано їх реалізацію мовою C#. На першому етапі виконується «нормалізація» слів відповіді та еталону (правильної відповіді на запитання, яка зберігається в базі даних). Результатом першого етапу є рядкові масиви: перший — набір слів відповіді, другий — слова еталону (не враховуються слова довжиною меншою за чотири символи). Другий етап передбачає циклічний виклик функції знаходження довжини найбільшої загальної підпослідовності слів (LCS) масивів відповідей та еталону. Подано блок-схему процедури обчислення LCS, яка базується на рекурсивному алгоритмі, запропонованому Хіршбергом. Порівняння кожного слова вхідної відповіді з усіма словами еталону, включаючи синоніми, дозволяє знайти довжину LCS навіть у разі незбігу порядку слів у відповіді та еталоні, що є перевагою запропонованого підходу. На третьому етапі відбувається обчислення загального показника подібності відповіді та еталону шляхом знаходження суми LCS окремих слів. Останній етап — формування результату перевірки відповіді на основі значення показника подібності (встановлюється в залежності від вимог: високий рівень збігу — 50 %, достатній — 30 %, низький — 10 %). Проведено випробування запропонованої інформаційної технології обробки відповідей, поданих у довільній текстовій формі. Виконано порівняння отриманих результатів з відстанню Левенштейна та латентно-семантичним аналізом. Запропонована ІТ дає кращий результат під час перевірки відповідей, в яких вживаються слова синоніми. Кількість неправильних спрацювань для 50 варіантів відповідей різної довжини (від 10 до 200 символів) склала 4 %. В результаті випробування встановлено рекомендовану довжину відповіді та еталону (не більше 200 символів), за якої досягається найбільша точність. Сформовано напрямки майбутніх досліджень: підвищення ефективності алгоритму шляхом введення додаткового етапу обробки, визначення «загальної» міри подібності відповіді та еталону на основі коефіцієнта Жаккара; реалізація автоматизованої інтелектуальної системи контролю рівня знань на базі технології клієнт- сервер; приведення результату перевірки у відносну шкалу оцінювання рівня знань.

The process of verification the answers to the "open" type questions (short text answer, essay) in the testing systems was researched. The analysis of automated systems in which this process is implemented has been carried out. The limitations of their application for control the level of knowledge on technical disciplines were determined. There has been justified the relevance of research on the "fuzzy" string comparison methods in the problems of verification of answers, submitted in an arbitrary text form. The functional structure of the module for verification such answers in intelligent automated system for control the level of knowledge in the form of a structural step-by-step diagram of the process of testing the input answer was proposed. The computational algorithms of each stage of processing are given; their implementation in C# was executed. The first step is to "normalize" the words of the answer and the etalon (the correct answer to the question stored in the database). The result of the first stage is a string arrays: the first is a set of response words, the second is a set of etalon words (words less than four characters in length are not included. The second step involves the cyclic calling the function of finding the length of the longest common subsequence (LCS) of the words of arrays of the response and the etalon. A block diagram of the LCS calculation procedure based on the recursive algorithm proposed by Hirschberg was presented. Comparison of each word of the input answer with all the words of the etalon, including synonyms, makes it possible to find the length of the LCS, even if the order of the words in the answer and the etalon does not match, which is an advantage of the proposed approach. In the third step, the total indicator of similarity of response and etalon is calculated by finding the sum of LCS of individual words. The last step is to formulate the result of validation of the answer based on the value of the similarity indicator (set depending on requirements: high level of coincidence — 50 %, sufficient — 30 %, low — 10 %). The proposed information technology has been tested for the processing of the answers in an arbitrary text form. A comparison of the obtained results with Levenshtein distance and latent-semantic analysis was performed. The proposed IT gives the best result when checking the answers in which synonymous words are used. The number of false results for the 50 variants of responses of different lengths (from 10 to 200 characters) was 4 %. As a result of the test, the recommended length of the answer and the etalon (maximum 200 characters) was set. Such length provides the higher accuracy. The directions of future research are formed: increasing the efficiency of the algorithm by introducing an additional stage of processing, — determining the "general" degree of similarity of the answer and the etalon based on the Jacquard coefficient; implementation of an automated intelligent knowledge control system based on clientserver technology; forming the result of the test to the relative scale of assessment of the level of knowledge.

Исследован процесс проверки ответов в системах тестирования на вопросы «открытого» типа (короткий текстовый ответ, эссе). Проведен анализ автоматизированных систем, в которых реализован этот процесс. Определены ограничения их применения для контроля уровня знаний по техническим дисциплинам. Аргументи-рована актуальность исследований по применению методов «нечеткого» сравнения строк в задачах проверки ответов, представленных в произвольной текстовой форме. Предложена информационная технология провер-ки таких ответов интеллектуальной автоматизированной системы контроля уровня знаний в виде структур-ной поэтапной схемы процесса обработки входящего ответа. Приведены вычислительные алгоритмы каждого этапа обработки, выполнена их реализация на языке C #. На первом этапе выполняется «нормализация» слов ответа и эталона (правильного ответа на вопрос, хранящегося в базе данных). Результатом первого этапа является строчные массивы: первый — набор слов ответа, второй — слова эталона (не учитываются слова длиной меньше четырех символов). Второй этап предусматривает циклический вызов функции нахождения длины наибольшей общей подпоследовательности слов (LCS) массивов ответов и эталона. Представлена блок-схема процедуры вычисления LCS, которая базируется на рекурсивном алгоритме, предложенном Хиршбергом. Сравнение каждого слова входящего ответа со всеми словам эталона, включая синонимы, позволяет найти длину LCS даже при несовпадении порядка слов в ответе и эталоне, что является преимуществом предложен-ного подхода. На третьем этапе происходит вычисление общего показателя сходства ответа и эталона пу-тем нахождения суммы LCS отдельных слов. Последний этап — формирование результата проверки ответа на основе значения показателя сходства (устанавливается в зависимости от требований: высокий уровень совпа-дения — 50 %, достаточный — 30 %, низкий — 10 %). Проведены испытания предложенной информационной технологии обработки ответов, представленных в произвольной текстовой форме. Выполнено сравнение полученных результатов с расстоянием Левенштейна и латентно-семантическим анализом. Предложенная ИТ дает лучший результат при проверке ответов, в которых употребляются слова-синонимы. Количество неверных срабатываний для 50 вариантов ответов различной длины (от 10 до 200 символов) составило 4 %. В результате тестирования установлена рекомендованная длина ответа и эталона (не более 200 символов), при которой достигается наибольшая точность. Сформированы направления будущих исследо-ваний: повышение эффективности алгоритма путем введения дополнительного этапа обработки — определе-ние «общей» меры сходства ответа и эталона на основе коэффициента Жаккара; реализация автоматизиро-ванной интеллектуальной системы контроля уровня знаний на базе технологии клиент-сервер; приведение результата проверки в относительную шкалу оценки уровня знаний.