Разработка метода адаптивного тестирования на основе нейротехнологий

Цель исследования. Целью исследования является создание нейросетвых моделей модулей в системе адаптивного тестирования для построения индивидуальной траектории тестирования.

В исследовательской статье рассматриваются вопросы реализации системы адаптивного тестирования с точки зрения внедрения в ее состав модулей искусственных нейронных сетей, которые должны решать задачу выбора темы и сложности следующего вопроса, учитывая предыдущие ответы и сложность ранее заданных вопросов, а также связанности тем и времени ответа как фактора угадывания или поиска ответа, тем самым формируя индивидуальную траекторию тестирования.

Материалы и методы. В ходе исследования проанализированы данные, влияющие на качество решения задачи, предложена общая модульная структура системы и описаны основные потоки данных, поступающие на вход искусственной нейронной сети (ИНС). Для решения задачи выбора сложности вопроса предложено использовать сеть прямого распространения, проведено сравнение различных архитектур и параметров обучения ИНС (алгоритмов обновления весов, функций потерь, количества эпох обучения, размеров пакета). В качестве альтернативы, рассмотрена возможность использования рекуррентной ИНС LSTM (Long-Short Term Memory) сети.

Все результаты были получены с помощью высокоуровневой библиотеки Keras, позволяющей осуществить быстрый старт на начальных этапах исследований и получение первых результатов. В качестве оптимизаторов сравнивались SGD, Adam, NAdam и RMSprop, реализованных в Keras для достижения более быстрой сходимости. Лучшие результаты по точности показал Adam, при этом совместно с оптимизатором использовалась функция потерь MSE (среднеквадратичная ошибка).

Традиционно обучение проводилось в течение большого числа эпох, экспериментальным путем получены графики зависимостей точности от числа эпох для разного количества нейронов в скрытом слое.

Результаты. На основании проведенного исследования можно сделать вывод о том, что полученная точность сети прямого распространения в 80–85% вполне достаточна для ее применения в системе адаптивного тестирования. Однако, предстоит ответить на вопрос о необходимости повышения эффективности уже реализованной сети, а, следовательно, провести исследования методов повышения эффективности сетей, среди которых более тонкая настройка параметров и алгоритмов обучения, а также архитектуры.

Известный и очевидный недостаток применения LSTM – их требовательность к оборудованию и ресурсам, как при обучении (процесс обучения занимает значительное время), так и при запуске, в нашем случае дополняется повышенными требованиями к обучающей выборке и ставит под сомнение целесообразность дальнейшего исследования LSTM сетей при решении данной задачи.

Заключение. Внедрение предлагаемого инструментария позволит реализовать систему адаптивного тестирования, с интеллектуальной подборкой вопросов в зависимости от демонстрируемого уровня знаний тестируемого для формирования индивидуальной траектории тестирования с целью определения достоверного уровня знаний испытуемого за оптимальное число заданных вопросов.

1. Головко В.А., Краснопрошин В.В. Нейросетевые технологии обработки данных. Минск: БГУ, 2017. 263 с.

2. Савченко Е.Ю. Применение модифицированных алгоритмов обучения нейронных сетей в задачах адаптивного тестирования [Электрон. ресурс]. Режим доступа: https://na-journal.ru/4-2012-tehnicheskie-nauki/159-primenenie-modificirovannyh-algoritmov-obuchenija-nejronnyh-setej-v-zadachah-adaptivnogo-testirovanija.

3. Григорьев А., Мамаев В. О применении нейронных сетей в тестировании знаний // Научное приборостроение. 2016. Т. 26. № 4. С. 77–84.

4. Syed Shomaail Mansoor Jafri. Computerized adaptive testing using neural networks Dhahran. Eastern Province, Saudi Arabia. [Электрон. ресурс]. Режим доступа: https://www.researchgate.net/publication/228720628_Computerized_adaptive_testing_using_neural_networks, last accessed 2022/01/20.

5. Онуфриева Т.А., Сухова А.С. Применение нейронных сетей в разработке электронных обучающих ресурсов // Южно-Сибирский научный вестник. 2020. № 6(34). С. 194–197.

6. Никифоров О.Ю. Использование адаптивных систем компьютерного тестирования [Электрон. ресурс] // Гуманитарные научные исследования. 2014. № 4. Режим доступа: https://human.snauka.ru/2014/04/6274.

7. Жадаев Д.С., Кузьменко А.А., Спасенников В.В. Особенности нейросетевого анализа уровня подготовки студентов в процессе адаптивного тестирования их профессиональных компетенций // Вестник Брянского государственного технического университета. 2019. Т. 75. № 2. С. 90–98.

8. Песошин В.А., Звездин В.В., Илюхин А.Н., Саубанов Руз. Р., Саубанов Русл. Р. Автоматизированная система тестирования как инструмент повышения качества оценки знаний [Электрон. ресурс] // Наука и образование. 2016. № 07. С. 137–142. Режим доступа: http://technomag.edu.ru/doc/843941.html, last accessed 2022/02/04.

9. Шамсутдинова Т.М. Формирование индивидуальной образовательной траектории в адаптивных системах управления обучением // Открытое образование. 2021. № 25(6). С. 36–44. DOI: 10.21686/1818-4243-2021-6-36-44.

10. Дагаев А.В., Костин Г.А., Петрова Е.А. Разработка автоматизированной информационной системы тестирования знаний для высшего учебного заведения как инструмент повышения образовательного процесса // Вестник образования и развития науки российской академии естественных наук. 2020. № 4. С. 80–84.

11. Комлева Н.В., Вилявин Д.А. Цифровая платформа для создания персонализированных адаптивных онлайн курсов // Открытое образование. 2020. № 24(2). С. 65–72.

12. Pominov D.A., Kuravsky L.S., Dumin P.N., Yuriev G.A. Adaptive trainer for preparing students for mathematical exams // International Journal of Advanced Research in Engineering and Technology (IJARET). 2020. Т. 11. № 11. С. 260–268.

13. Саймон Хайкин. Нейронные сети: полный курс – 2-е. М.: Вильямс, 2019. 1104 с.

14. Парасич А.В., Парасич В.А., Парасич И.В. Формирование обучающей выборки в задачах машинного обучения. Обзор // Информационно-управляющие системы. 2021. № 4(113). С. 61–70.

15. Ang K.M., Lim W.H., Tiang S.S., Ang C.K., Natarajan E., Ahamed Khan M.K.A. Optimal training of feedforward neural networks using teaching-learning-based optimization with modified learning phases // Lecture Notes in Electrical Engineering. 2022. Т. 770. С. 867–887.

16. Gorshkova K., Tugashova L., Zueva V., Kuznetsova M. Optimizing deep learning methods in neural network architectures // International Review of Automatic Control. 2021. Т. 14. № 2. С. 93–101.

17. Zhao Y. Research on management model based on deep learning // Complexity. 2021. Т. 2021. С. 9997662.

18. Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang: On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima [Электрон. ресурс]. Режим доступа: https://arxiv.org/pdf/1609.04836.pdf.

19. Казаков Ф.А., Шнайдер А.В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии.2021. № 6(2). С. 260–264.

20. Зоткина А.А., Мартышкин А.И., Новоселова О.В. Методика оптимизации обучающего алгоритма нейронных сетей // XXI век: итоги прошлого и проблемы настоящего плюс. 2021. Т. 10. № 4 (56). С. 21–24.