Сравнение методов анализа настроений глубокого обучения, включая LSTM и машинное обучение

Материалы и методы. С целью улучшения процесса анализа семестра, организованного с использованием существующих методов и моделей, необходимо внести в него корректировки в соответствии с растущими изменениями информационных потоков и на сегодняшний день. В этом случае исследователям крайне важно изучить возможности обновления определённых инструментов, либо объединить их, либо разработать, чтобы адаптировать их к современным задачам, чтобы обеспечить более чёткое понимание результатов их лечения. Мы представляем сравнение нескольких моделей глубокого обучения, включая конволюционная нейронная сеть, рекуррентные нейронные сети и долговременную и кратковременную двунаправленную память, оцененных на основе различных подходов к интеграции слов, включая трансформацию двунаправленных кодирующих представлений (BERT) и ее варианты, FastText и Word2Vec. Дополнение данных проводилось с использованием подхода простого дополнения данных.

В этом проекте применяются методы обработки естественного языка (ОЕЯ), глубокое обучение, а также модели - LSTM, CNN, SVM TF-IDF, adaboost, na_ïves bayes, а затем комбинации моделей.

Результаты. Исследования позволили получить и проверить результаты моделей с помощью пользовательских обзоров и сравнить точность моделей, чтобы увидеть, какая модель имеет наибольшую точность результатами анализа, полученными с помощью моделей, и их комбинацией CNN с LSTM-моделью, но SVM с TF-IDF векторизатором оказалась наиболее эффективной для этого несбалансированного набора данных. В построенной модели результатом стали следующие показатели: ROC AUC - 0,82, точность - 0,92, F1 - 0,82, Precision - 0,82 и Recall - 0,82. Для поиска более эффективной модели можно провести дополнительные исследования и внедрение модели. Заключение. За последние годы анализ текста на естественном языке продвинулся довольно далеко вперёд, и не исключено, что в обозримом будущем подобные задачи будут полностью решены. Несколько различных моделей в ML и CNN с LSTM-моделью, но SVM с TF-IDF векторизатором оказалась наиболее эффективной для этого несбалансированного набора данных. В целом, как глубокое обучение, так и методы выбора на основе признаков могут быть использованы для решения некоторых  наиболее актуальных проблем. Глубокое обучение полезно, когда наиболее значимые признаки заранее неизвестны, в то время как методы выбора на основе признаков могут помочь повысить точность и эффективность алгоритма классификации. Комбинация обоих подходов также может быть использована для дальнейшего повышения эффективности алгоритма.

1. Романов А.С., Куртукова А.В., Соболев А.А. Определение возраста автора текста на основе глубоких нейросетевых моделей // Information. 2020. № 11(12). С. 589.

2. Шломо А. Э., Мошер К., Галит А. Классификация текста по стилю: какую газету я читаю? // В сборнике. Из семинара AAAI по категоризации текстов, 1998. С. 1–4.

3. Бай С., Колтер Дж.З, Колтун В. Эмпирическая оценка общих сверточных и рекуррентных сетей для моделирования последовательностей // Препринт arXiv arXiv. 2018. Т. 2. С. 1803–01271.

4. Конно А., Швенк Х., Барро Л. и др. Очень глубокие сверточные сети для классификации текстов // Препринт arXiv arXiv. 2017. Т. 2. С. 1606–01781.

5. Жанг Х., Чжао J., Лекун Ы. Сверточные сети символьного уровня для классификации текста // Препринт arXiv arXiv. 2016. Т. 3. С. 1509–01626.

6. Инь У., К. Каннан К. и др. Сравнительное исследование CNN и RNN для обработки естественного языка // Препринт arXiv arXiv. 2017. Т. 1. С. 1702.

7. Йогатама Д., Дайер Chr., Линг У. и др. Генеративная и дискриминативная классификация текстов с помощью рекуррентных нейронных сетей // Препринт arXiv arXiv. 2017. Т. 2. С. 1703–01898.

8. Балакришнан В., Лок П.Я., Рахим Х.А. Полууправляемый подход к выявлению настроений и эмоций на основе обзоров цифровых платежей // J Supercomput. 2021. Т. 77. С. 3795–3810.

9. Каросия А.Э., Коэльо Г.П., Сильва А.Э. Инвестиционные стратегии, применяемые к бразильскому фондовому рынку: методология, основанная на анализе настроений с использованием глубокого обучения // Приложение Expert Syst. 2021. Т. 184.

10. Цзин Н., Ву З., Ванг Х. Гибридная модель, интегрирующая глубокое обучение с анализом настроений инвесторов для прогнозирования цен на акции // Приложение Expert Syst. 2021. Т. 178.

11. Ядав А., Джа К.К., Шаран А. и др. Анализ настроений в финансовых новостях с использованием неконтролируемого подхода // Proced Comput Sci. 2020. Т. 167. С. 589–598.

12. Чжан Ю., Хан Р., Цзе М. и др. Аналитическая платформа социальных сетей для улучшения операций и управления услугами: исследование розничной аптечной индустрии // Технология прогнозирования изменений в Soc. 2021. Т. 163.

13. Ву Дж.Дж., Чанг С.Т. Изучение настроений потребителей в отношении онлайн-розничных услуг: тематический подход // J Retail Consumer. 2020. Т. 55. С. 102145.

14. Чжан Дж., Чжан А., Лю Д. и др. Извлечение предпочтений потребителей в отношении воздухоочистителей на основе детального анализа настроений онлайн-отзывов // Система, основанная на знаниях. 2021. Т. 228.

15. Сюй Ф., Пан З., Ся Р. Обзор продуктов электронной коммерции и классификация настроений на основе наивной системы непрерывного обучения Байеса // Управление процессами Inf. 2020. Т. 6(57).

16. Тапария А, Багла Т. Анализ настроений: прогнозирование оценок отзывов о товарах с использованием онлайн-отзывов покупателей. 2020. DOI: 10.2139/ssrn.3655308.

17. Колон-Руис С., Сегура-Бедмар И. Сравнение архитектур глубокого обучения для анализа настроений в отзывах о лекарствах // J Biomed Inform. 2020. Т. 110.

18. Ву Ф., Ши З., Донг З. и др. Анализ настроений онлайн-обзоров продуктов на основе SenBERT-CNN // Международная конференция 2020 по машинному обучению и кибернетике (ICMLC). 2020. С. 229–234.

19. Пота М., Вентура М., Кателли Р. и др. Эффективный конвейер на основе BERT для анализа настроений в Twitter: тематическое исследование на итальянском языке // Sensors. 2021. Т. 21(1). С. 133.

20. Шортен К., Хошгофтаар Т. М., Фурхт Б. Расширение текстовых данных для глубокого обучения // Big Data. 2021. Т. 8. С. 101.

21. Крижевский А., Суцкевер И., Хинтон Г.Е. Классификация Imagenet с использованием глубоких сверточных нейронных сетей // Commun ACM. 2017. С. 84–90.

22. Кобаяши С. Контекстуальная аугментация: приращение данных с помощью слов с парадигматическими отношениями // В NAACL HLT. 2018. Т. 2. С. 452–457.

23. Дуонг Х.Т., Нгуен-Тхи Т.А. Обзор: методы предварительной обработки и увеличение объема данных для анализа настроений // Вычислительная сеть. 2021. Т. 8. С. 1.

24. Чжоу С., Чен К., Ван Х. Метод активного глубокого обучения для классификации настроений под контролем пользователя // Нейрокомпьютинг. Т. 120. С. 536–546.

25. Дэн Л., Хинтон Г., Кингсбери Б. Новые типы глубокого обучения нейронных сетей для распознавания речи и связанных с ними приложений: обзор // IEEE Int. Конф. Акустика. Обработка речевого сигнала. 2013. С. 859–860.

26. Бенгио С., Денг Л., Ларошель Х., Салахутдинов Р.И. Введение приглашенных редакторов: специальный раздел по изучению глубоких архитектур // IEEE Trans Pattern Anal Mach Intell. 2013. Т. 35(8). С. 1795–1797.

27. Арнольд Л., Ребекки С., Шевалье С. и др. Введение в глубокое обучение // Esann. 2011. С. 479–488.

28. Го Y., Лю Ю., Эрлеманс А. и др. Глубокое обучение для визуального понимания: обзор // Нейрокомпьютинг.2016. Т. 187. С. 27–48.

29. Гуань З. Ян Дж. Сдержанное самообучение: метод классификации настроений под полуконтролем для китайских микроблогов // Материалы шестой Международной совместной конференции по обработке естественного языка. 2013. С. 455–462.

30. Чен З., Мукерджи А., Лю Б. Извлечение аспектов с автоматизированным изучением предварительных знаний // в трудах ACL. 2014. С. 347–358.

31. Пракаш В. Дж., Нитья Д. Л. Обзор методов обучения с полуконтролем // Международный журнал компьютерных тенденций и технологий. 2014. Т. 8(1). С. 25–29.

32. Руководство по анализу настроений [Электрон. ресурс]. Режим доступа: https://monkeylearn.com/sentiment-analysis/.

33. Основное руководство по анализу настроений [Электрон. ресурс]. Режим доступа: https://www.telusinternational.com/insights/ ai-data/article/the-essential-guide-to-sentimentanalysis.