Екатерина Витальевна Чумакова, к.ф.-м.н., доцент кафедры Компьютерной математики
Москва
Ekaterina V. Chumakova, Cand. Sci. (Physics and Mathematics), Associate Professor of Applied Computer mathematics Department
Moscow
Дмитрий Геннадьевич Корнеев, к.э.н., доцент кафедры Прикладной информатики и информационной безопасности
Москва
Dmitry G. Korneev, Cand. Sci. (Economics), Associate Professor of Applied Informatics and information security Department
Moscow
Михаил Самуилович Гаспариан, к.э.н., доцент кафедры Прикладной информатики и информационной безопасности
Москва
Mikhail S. Gasparian, Cand. Sci. (Economics), Associate Professor of Applied Informatics and information security Department
Moscow
Цель исследования. Целью исследования является создание нейросетвых моделей модулей в системе адаптивного тестирования для построения индивидуальной траектории тестирования.
В исследовательской статье рассматриваются вопросы реализации системы адаптивного тестирования с точки зрения внедрения в ее состав модулей искусственных нейронных сетей, которые должны решать задачу выбора темы и сложности следующего вопроса, учитывая предыдущие ответы и сложность ранее заданных вопросов, а также связанности тем и времени ответа как фактора угадывания или поиска ответа, тем самым формируя индивидуальную траекторию тестирования.
Материалы и методы. В ходе исследования проанализированы данные, влияющие на качество решения задачи, предложена общая модульная структура системы и описаны основные потоки данных, поступающие на вход искусственной нейронной сети (ИНС). Для решения задачи выбора сложности вопроса предложено использовать сеть прямого распространения, проведено сравнение различных архитектур и параметров обучения ИНС (алгоритмов обновления весов, функций потерь, количества эпох обучения, размеров пакета). В качестве альтернативы, рассмотрена возможность использования рекуррентной ИНС LSTM (Long-Short Term Memory) сети.
Все результаты были получены с помощью высокоуровневой библиотеки Keras, позволяющей осуществить быстрый старт на начальных этапах исследований и получение первых результатов. В качестве оптимизаторов сравнивались SGD, Adam, NAdam и RMSprop, реализованных в Keras для достижения более быстрой сходимости. Лучшие результаты по точности показал Adam, при этом совместно с оптимизатором использовалась функция потерь MSE (среднеквадратичная ошибка).
Традиционно обучение проводилось в течение большого числа эпох, экспериментальным путем получены графики зависимостей точности от числа эпох для разного количества нейронов в скрытом слое.
Результаты. На основании проведенного исследования можно сделать вывод о том, что полученная точность сети прямого распространения в 80–85% вполне достаточна для ее применения в системе адаптивного тестирования. Однако, предстоит ответить на вопрос о необходимости повышения эффективности уже реализованной сети, а, следовательно, провести исследования методов повышения эффективности сетей, среди которых более тонкая настройка параметров и алгоритмов обучения, а также архитектуры.
Известный и очевидный недостаток применения LSTM – их требовательность к оборудованию и ресурсам, как при обучении (процесс обучения занимает значительное время), так и при запуске, в нашем случае дополняется повышенными требованиями к обучающей выборке и ставит под сомнение целесообразность дальнейшего исследования LSTM сетей при решении данной задачи.
Заключение. Внедрение предлагаемого инструментария позволит реализовать систему адаптивного тестирования, с интеллектуальной подборкой вопросов в зависимости от демонстрируемого уровня знаний тестируемого для формирования индивидуальной траектории тестирования с целью определения достоверного уровня знаний испытуемого за оптимальное число заданных вопросов.
Purpose of the study. The aim of the study is to create neural network models of modules in an adaptive testing system to design an individual testing trajectory.
The research article discusses the implementation of an adaptive testing system in terms of introducing artificial neural network modules into its composition, which should solve the problem of choosing a topic and the complexity of the next question, taking into account previous answers and the complexity of previously asked questions, as well as the connectivity of topics and response time as a factor guessing or searching for an answer, thereby forming an individual testing trajectory.
Materials and methods. In the course of the study, the data that affect the quality of the solution of the problem was analyzed, the general modular structure of the system was proposed, and the main data flows entering the input of an artificial neural network (ANN) were described. To solve the problem of choosing the complexity of a question, it is proposed to use a feed-forward network, a comparison of various ANN architectures and training parameters (weight update algorithms, loss functions, number of training epochs, packet sizes) is carried out. As an alternative, the possibility of using a recurrent ANN LSTM (Long-Short Term Memory) network is considered. All results were obtained using the high-level Keras library, which allows you to quickly start at the initial stages of research and get the first results. SGD, Adam, NAdam and RMSprop implemented in Keras were compared as optimizers to achieve faster convergence. Adam showed the best results in terms of accuracy, while the MSE loss function (mean square error) was used together with the optimizer. Traditionally, training was carried out for a large number of epochs; graphs of dependences of accuracy on the number of epochs for a different number of neurons in the hidden layer were experimentally obtained.
Results. Based on the study, we can conclude that the obtained accuracy of the direct propagation network of 80-85% is quite sufficient for its use in the adaptive testing system. However, it remains to answer the question of the need to improve the efficiency of an already implemented network, and, therefore, to conduct research on methods to improve the efficiency of networks, including finer tuning of parameters and learning algorithms, as well as architecture.
A well-known and obvious drawback of using LSTMs is their exactingness in terms of equipment and resources, both during training (the training process takes a significant amount of time) and during startup, in our case, it is supplemented by increased requirements for the training sample and casts doubt on the advisability of further study of LSTM networks when solving this task.
Conclusion. The introduction of the proposed tools will allow implementing an adaptive testing system, with an intelligent selection of questions depending on the demonstrated level of knowledge of the test person to form an individual testing trajectory in order to determine the reliable level of knowledge of the test subject for the optimal number of questions asked.
The authors declare that there are no conflicts of interest present.