Игорь Николаевич Глухих, Д.т.н., профессор, профессор Академического департамента Школы компьютерных наук
Тюмень
Igor N. Glukhikh, Dг. Sci. (Technical), Professor, Professor of the Academic Department of the School of Computer Science
Tyumen
Ольга Валерьевна Крежевских, К.п.н., доцент Школы образования
Тюмень
Olga V. Krezhevskikh, Cand. Sci. (Pedagogical), Associate Professor of the School of Education
Tyumen
Ольга Владимировна Булатова, К.п.н., доцент Школы образования
Тюмень
Olga V. Bulatova, Cand. Sci. (Psychological), Associate Professor of the School of Education
Tyumen
Цель исследования: настоящая статья направлена на выявление возможностей промт-инжиниринга как одного из способов помощи студентам в осмыслении прочитанного, в том числе научного текста в условиях цифровизации высшего образования. Цель данного исследования – изучить возможности промт-инжиниринга при работе с большими языковыми моделями искусственного интеллекта для улучшения понимания научного текста у студентов.Материалы и методы исследования. Дизайн исследования предполагал получение показателей понимания научного текста до и после применения промпт-инжиниринга. В рамках исследования применялось тестирование по методике Т.В. Борзова «Понимание научного текста», в основе которого лежит саморефлексия студентов, и анкетирование, позволяющее в дальнейшем произвести анализ понимания научного текста на более глубоком качественном уровне, в отличии от саморефлексии. Для составления промпта студентам давалась краткая схема, одновременно подчёркивалось, что составление промпта представляет собой творческую деятельность. Для анализа данных применялись методы математической статистики. Всего было опрошено 57 студентов, из них 25 студентов первого курса, 32 — второго курса. Распределение каждой из групп соответствует нормальному распределению (Shapiro-Wilk, p = 0,548). Результаты. С целью оценки результатов до и после применения промпт-инжиниринга по методике Т. В. Борзова «Понимание научного текста» мы применили парный t-тест (Paired Samples t-Test) для сравнения двух измерений одной и той же группы: Measure 1 (до) и Measure 2 (после). Цель теста — определить, есть ли существенное среднее различие между двумя связанными наборами данных. 25 человек прошло p = 0.373: двустороннее p-значение, свидетельствующее об отсутствии статистически значимого различия между средними значениями до и после на уровне α = 0.05. Одновременно с этим, качественный анализ анкет свидетельствует, что ответы студентов после составления промпта характеризуется большей точностью и ясностью изложения, релевантностью, лаконичностью и глубиной.Заключение. Авторы пришли к выводу, что студенты испытывают трудности понимания научного текста, в частности в выделении главного в тексте, формулировки выводов. Данные результаты пилотажного исследования, в целом, позволяют говорить о положительных прогнозах в отношении применения промпт-инжиниринга для развития более глубокого понимания научного текста у студентов.
Purpose of the research. This article aims to identify the potential of PROMPT engineering as one of the ways to help students comprehend what they read, including scientific texts, in the context of digitalization of higher education. The purpose of this study is to explore the potential of PROMPT engineering when working with large-scale artificial intelligence language models to improve students’ comprehension of scientific texts.Research materials and methods: the study design involved obtaining indexes of scientific text comprehension before and after the implementation of PROMPT engineering. The study utilized testing based on T. Borzov’s “Understanding scientific text” methodology, which relies on student self-reflection, and a questionnaire, which allows for a further analysis of scientific text comprehension at a deeper, qualitative level, as opposed to self-reflection. To create a prompt, students were given a brief outline, emphasizing that prompt writing was a creative activity. Mathematical statistics were used to analyze the data. A total of 57 students were surveyed, including 25 first-year students and 32 second-year students. The distribution of each group corresponded to a normal distribution (Shapiro-Wilk, p = 0.548).Results. To evaluate the results before and after the application of prompt engineering based on T. Borzov’s “Understanding scientific text” method; we used a paired samples t-test to compare two measurements of the same group: Measure 1 (before) and Measure 2 (after). The purpose of the test is to determine whether there is a significant mean difference between the two related data sets. 25 participants completed the study (p = 0.373): a two-tailed p-value indicating no statistically significant difference between the mean values before and after the study at the α = 0.05 level. Furthermore, a qualitative analysis of the questionnaires indicates that students’ responses after the prompt were characterized by greater accuracy and clarity of presentation, relevance, conciseness, and depth.Conclusion. The authors concluded that students experience difficulty understanding scientific texts, particularly in identifying key points and conclusions. These results of the pilot study generally suggest positive predictions regarding the use of prompt engineering to develop students’ deeper understanding of scientific texts.
The authors declare that there are no conflicts of interest present.