Жан Макс Тапе Хабиб - аспирант, Факультет инновационных технологий
Томск
Jean Max T. Habib – Postgraduate student, Faculty of Innovative Technologies
Tomsk
Алексей Андреевич Погуда – кандидат технических наук, доцент, Факультет инновационных технологий,
Томск
Alexey A. Poguda – Cand. Sci. (Engineering), Associate Professor, Faculty of Innovative Technologies,
Tomsk
Материалы и методы. С целью улучшения процесса анализа семестра, организованного с использованием существующих методов и моделей, необходимо внести в него корректировки в соответствии с растущими изменениями информационных потоков и на сегодняшний день. В этом случае исследователям крайне важно изучить возможности обновления определённых инструментов, либо объединить их, либо разработать, чтобы адаптировать их к современным задачам, чтобы обеспечить более чёткое понимание результатов их лечения. Мы представляем сравнение нескольких моделей глубокого обучения, включая конволюционная нейронная сеть, рекуррентные нейронные сети и долговременную и кратковременную двунаправленную память, оцененных на основе различных подходов к интеграции слов, включая трансформацию двунаправленных кодирующих представлений (BERT) и ее варианты, FastText и Word2Vec. Дополнение данных проводилось с использованием подхода простого дополнения данных.
В этом проекте применяются методы обработки естественного языка (ОЕЯ), глубокое обучение, а также модели - LSTM, CNN, SVM TF-IDF, adaboost, naïves bayes, а затем комбинации моделей.
Результаты. Исследования позволили получить и проверить результаты моделей с помощью пользовательских обзоров и сравнить точность моделей, чтобы увидеть, какая модель имеет наибольшую точность результатами анализа, полученными с помощью моделей, и их комбинацией CNN с LSTM-моделью, но SVM с TF-IDF векторизатором оказалась наиболее эффективной для этого несбалансированного набора данных. В построенной модели результатом стали следующие показатели: ROC AUC - 0,82, точность - 0,92, F1 - 0,82, Precision - 0,82 и Recall - 0,82. Для поиска более эффективной модели можно провести дополнительные исследования и внедрение модели. Заключение. За последние годы анализ текста на естественном языке продвинулся довольно далеко вперёд, и не исключено, что в обозримом будущем подобные задачи будут полностью решены. Несколько различных моделей в ML и CNN с LSTM-моделью, но SVM с TF-IDF векторизатором оказалась наиболее эффективной для этого несбалансированного набора данных. В целом, как глубокое обучение, так и методы выбора на основе признаков могут быть использованы для решения некоторых наиболее актуальных проблем. Глубокое обучение полезно, когда наиболее значимые признаки заранее неизвестны, в то время как методы выбора на основе признаков могут помочь повысить точность и эффективность алгоритма классификации. Комбинация обоих подходов также может быть использована для дальнейшего повышения эффективности алгоритма.
Purpose of research. The purpose of the study is to evaluate certain machine learning models in data processing based on speed and efficiency related to the analysis of sentiment or consumer opinions in business intelligence. To highlight the existing developments, an overview of modern methods and models of sentiment analysis is given, demonstrating their advantages and disadvantages.
Materials and methods. In order to improve the semester analysis process, organized using existing methods and models, it is necessary to adjust it in accordance with the growing changes in information flows today. In this case, it is crucial for researchers to explore the possibilities of updating certain tools, either to combine them or to develop them to adapt them to modern tasks in order to provide a clearer understanding of the results of their treatment. We present a comparison of several deep learning models, including convolutional neural networks, recurrent neural networks, and long-term and shortterm bidirectional memory, evaluated using different approaches to word integration, including Bidirectional Encoder Representations from Transformers (BERT) and its variants, FastText and Word2Vec. Data augmentation was conducted using a simple data augmentation approach. This project uses natural language processing (NLP), deep learning, and models such as LSTM, CNN, SVM TF-IDF, Adaboost, Naive Bayes, and then combinations of models.
The results of the study allowed us to obtain and verify model results with user reviews and compare model accuracy to see which model had the highest accuracy results from the models and their combination of CNN with LSTM model, but SVM with TF-IDF vectoring was most effective for this unbalanced data set. In the constructed model, the result was the following indexes: ROC AUC - 0.82, precision - 0.92, F1 - 0.82, Precision - 0.82, and Recall - 0.82. More research and model implementation can be done to find a better model.
Conclusion. Natural language text analysis has advanced quite a bit in recent years, and it is possible that such problems will be completely solved in the near future. Several different models in ML and CNN with the LSTM model, but SVM with the TF-IDF vectorizer proved most effective for this unbalanced data set. In general, both deep classification algorithm. A combination of both approaches can also learning and feature-based selection methods can be used to solve be used to further improve the efficiency of the algorithm. some of the most pressing problems. Deep learning is useful when the most relevant features are not known in advance, while feature-based
The authors declare that there are no conflicts of interest present.