Екатерина Алексеевна Косова, к.п.н., доцент, заведующая кафедрой прикладной математики Физико-технического института,
Симферополь.
Kosova A. Yekaterina, Cand. Sci. (Pedagogical), Associat Professor, Head of the Department of Applied Mathematics at the Institute of Physics and Technology,
Simferopol.
Кирилл Игоревич Редкокош, Аспирант,
Симферополь.
Kirill I. Redkokosh, Postgraduate Student at the Institute of Physics and Technology,
Simferopol.
Павел Олегович Михеев, Студент,
Симферополь.
Pavel O. Mikheyev, Student at the Institute of Physics and Technology,
Simferopol.
Цель исследования: разработать и проверить подход к обучению составителей цифрового контента в части создания альтернативного текста, точно описывающего оригинальное изображение, с использованием нейронной сети для генерирования контрольных изображений, реконструируемых по тексту. Отсутствие в веб-ресурсе текстовых описаний к визуальному контенту ограничивает цифровую доступность, особенно для пользователей с нарушением зрения. Для обеспечения доступности каждое информативное изображение должно сопровождаться альтернативным текстом. Известно, что текстовые альтернативы, сгенерированные с помощью автоматических инструментов, уступают по качеству описаниям, выполненным человеком. Следовательно, составитель цифрового контента должен уметь разрабатывать альтернативный текст к изображениям. Выдвинуто предположение, что нейронная сеть, способная генерировать изображения по текстовым описаниям, может выступать в роли инструмента, служащего для проверки релевантности составляемых текстовых альтернатив.
Материалы и методы. Исследование выполнялось в апреле-мае 2023 года. 17 обучающихся бакалавриата изучили требования к разработке текстовых альтернатив, выполнили первичные текстовые описания к трем предложенным фотографиям, а затем откорректировали текст с использованием нейронной сети Kandinsky 2.1 согласно алгоритму: генерирование изображения по описанию; визуальное сравнение полученного изображения с оригиналом; возвращение к редактированию описания или завершение процесса. По первичным и итоговым описаниям исследователи воссоздали изображения с использованием той же нейронной сети. Дальнейшая работа заключалась в оценке качества всех текстовых описаний и сходства всех сгенерированных изображений с оригинальными. Результаты исследования (текстовые описания; оценки, выставленные экспертами; ссылки на сгенерированные изображения) опубликованы в виде набора данных в репозитории Mendeley Data. Для анализа данных использовали t-тест, корреляцию Пирсона и многомерную регрессию (при заданном уровне значимости p = 0,05).
Результаты. Установлено, что средние оценки качества первичных и итоговых текстовых описаний значимо не отличались (p > 0,05), также не было выявлено значимых отличий для длины текста (p > 0,05). При этом существенно (p < 0,05) возрастало сходство сгенерированных изображений с оригинальными фотографиями после использования обучающимися нейронной сети. Следовательно, тренировка в нейронной сети способствовала повышению качества (сходства с оригиналом) изображений, сгенерированных по измененным текстовым описаниям, без потери качества описаний. Обнаружено также, что качество итоговых текстовых альтернатив тем выше, чем больше их размер в пределах отведенного лимита, чем лучше и короче первичные описания (p < 0,05). Таким образом, лаконичные и точные альтернативные описания к изображениям после тренировки обучающихся в нейронной сети могут быть преобразованы в не менее качественные текстовые альтернативы, релевантность которых повышается за счет добавления в описание деталей сюжета.
Заключение. Нейронные сети для генерирования изображений могут быть применимы в качестве программного инструмента, стимулирующего потенциальных авторов контента к созданию более точного и полного альтернативного текста при сохранении его лаконичности. Представляется важным продолжить исследования, распространив их на изображения других типов, с использованием различных нейронный сетей.
The purpose of research. The purpose of the study is to develop and test an approach to training digital content compilers in creating alternative text that accurately describes the original image, using a neural network to generate reference images reconstructed from the text. The lack of textual descriptions of visual content in a web resource limits digital accessibility, especially for users with visual disorders. To ensure accessibility, each informative image should be accompanied by the alternative text. Text alternatives generated by means of automated tools are known to be lower in quality to human-generated descriptions. Therefore, a digital content compiler must be able to develop the alternative text for images. It has been suggested that a neural network for generating images from text descriptions can act as a tool for checking the relevance of the developed text alternatives.
Materials and methods. The study was carried out in April-May 2023. 17 undergraduate students studied the requirements for developing text alternatives, completed initial text descriptions for three proposed photographs, and then corrected the text using the Kandinsky 2.1 neural network according to the algorithm: generating an image from the description; visual comparison of the resulting image with the original; returning to editing the description or ending the process. Based on the initial and final descriptions, the researchers reconstructed the images using the same neural network. Further work consisted of assessing the quality of all text descriptions and the similarity of all generated images to the original ones. The results of the study (text descriptions; expert evaluations; links to generated images) were published as a data set in the Mendeley Data repository. The t-test, Pearson correlation and multivariate regression were used to analyze the data (at the specified significance level p = 0,05).
Results. It was found that the quality scores of the initial and final text descriptions were not significantly different (p > 0,05), and also there were no significant differences for the length of the text (p > 0,05). At the same time, the similarity of the generated images and original photographs after students used the neural network has increased considerably (p < 0,05). Therefore, training in the neural network contributed to improving the quality (similarity to the original) of images generated from modified text descriptions, without losing the descriptions’ quality. It was also shown that the quality of the final text alternatives was higher the larger their size within the allotted limit, the better and shorter the initial descriptions (p < 0,05). Thus, concise and accurate alternative descriptions for images after training students in a neural network can be converted into equally high-quality text alternatives, the relevance of which is increased by adding plot details to the description.
Conclusion. Neural networks generating images can be applied as a software tool to encourage potential content authors to create more accurate and complete alternative text while keeping it concise. It seems important to continue the research by extending it to other types of images and using a variety of neural networks.
The authors declare that there are no conflicts of interest present.