Алексей Андреевич Погуда, к.т.н, доцент, информационного обеспечения
Томск
Alexey A. Poguda, Cand. Sci. (Technical), Associate Professor, Faculty of Innovative Technologies
Tomsk
Тапе Жан Макс Хабиб, аспирант факультета инновационных технологий
Томск
Tape Jean Max Habib, Postgraduate student, Faculty of Innovative Technologies
Tomsk
Цель исследования. Основными целями разработки модуля для автоматического оценивания работ студентов на основе российской системы оценочных шкал являются:– повышение эффективности оценивания: автоматическая система может обрабатывать большее количество работ за меньшее время, чем преподаватель, что позволяет сократить время, затрачиваемое на проверку;– объективность оценивания: автоматическая система не подвержена предвзятости и другим человеческим факторам, что обеспечивает более объективную оценку работ;– стандартизация оценивания: автоматическая система обеспечивает единый подход к оцениванию работ, что повышает его прозрачность и сопоставимость;– снижение нагрузки на преподавателей: освобождение преподавателей от рутинной работы по проверке работ позволяет им больше времени посвятить индивидуальной работе со студентами.Материалы и методы. Для разработки модуля для автоматического оценивания работ студентов могут быть использованы различные методы, такие как:Методы машинного обучения: эти методы позволяют модулю обучаться на наборе примеров, где работы студентов уже оценены преподавателями, и автоматически выставлять оценки новым работам.Методы обработки естественного языка (NLP): Эти методы позволяют модулю понимать смысл текста и оценивать его по заданным критериям.Методы экспертных систем: Эти методы позволяют модулю использовать знания экспертов в области оценивания студенческих работ.Для данного проекта мы выбрали комбинацию алгоритмов индексов Левенштейна и Жаро, основанных на методе оценки знаний учащихся в российской системе.Результаты. В ходе выполнения данного исследования были получены следующие основные результаты. Модуль автоматической оценки студенческих работ успешно разработан и реализован на основе российской системы оценочных шкал. Проведенные тестовые оценки работ показали высокую точность предсказаний модуля и надежность его работы. Сравнение модуля с ручной оценкой подтвердило его способность давать сравнимые результаты. Модуль оказался полезным для преподавателей, предоставляя им возможность быстрой и объективной оценки работ студентов. Интеграция модуля с существующими системами управления обучением облегчает его внедрение в образовательную среду. Все полученные результаты свидетельствуют о высокой эффективности и перспективности разработанного модуля.Заключение. В результате выполнения данной работы был разработан и реализован модуль автоматической оценки студенческих работ на основе российской системы оценочных шкал. Основные результаты работы заключаются в том, что модуль успешно прошел тестирование и продемонстрировал высокую точность и надежность в оценке работ. Модуль также показал свою полезность для преподавателей, предоставляя им возможность быстрой и объективной оценки работ студентов. Благодаря интеграции с существующими системами управления обучением, модуль может быть легко внедрен в образовательную среду. В целом, результаты работы подтверждают эффективность и перспективность использования автоматической оценки студенческих работ на основе российской системы оценочных шкал.
Research objective. The main objectives of developing a module for automatic assessment of students’ papers based on the Russian grading scale system are:– Increased grading efficiency: the automatic system can process a larger number of papers in less time than a lecturer, reducing the time spent on checking;– Grading objectivity: the automated system is not subject to bias and other human factors, which ensures more objective grading of papers;– Standardization of grading: the automated system provides a uniform approach to grading, making it more transparent and comparable;– Reduced workload for lecturers: freeing lecturers from the routine work of checking papers allows them to devote more time to individual work with students.Materials and methods. Various methods can be used to develop a module for automatic assessment of students’ work, such as:Machine learning techniques: these techniques allow the module to learn from a set of examples where lecturers have already assessed students’ papers and automatically grade new papers.Natural Language Processing (NLP) methods: these methods allow the module to understand the meaning of text and evaluate it against given criteria.Expert systems methods: these methods allow the module to utilize the knowledge of experts in assessing students’ papers. For this project, we have chosen a combination of Levenshtein and Jaro index algorithms based on the method of assessing students’ knowledge in the Russian system.Results. The following main results were obtained in the course of this research. The module of automatic evaluation of student papers has been successfully developed and implemented on the basis of the Russian system of evaluation scales. Test evaluations of papers showed high accuracy of the module’s predictions and reliability of its work. Comparison of the module with manual assessment confirmed its ability to give comparable results. The module proved to be useful for lecturers, providing them with the ability to quickly and objectively assess students’ papers. Integration of the module with existing learning management systems facilitates its implementation in the educational environment. All the obtained results testify to the high efficiency and prospectivity of the developed module.Conclusion. As a result of this work, a module for automatic evaluation of students’ papers based on the Russian system of evaluation scales was developed and implemented. The main results of the work are that the module has been successfully tested and demonstrated high accuracy and reliability in the assessment of papers. The module has also demonstrated its usefulness for lecturers, providing them with an opportunity to quickly and objectively assess students’ papers. Due to its integration with existing learning management systems, the module can be easily implemented into the educational environment. In general, the results of the work confirm the effectiveness and prospects of using automatic assessment of students’ papers based on the Russian system of assessment scales.
The authors declare that there are no conflicts of interest present.