ooОткрытое образованиеOpen Education1818-42432079-5939Plekhanov Russian University of Economics10.21686/1818-4243-2020-4-4-12oo-745Research ArticleМЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕMETHODICAL MAINTENANCEПостроение ассоциативной классификационной модели данных на основе метода AprioriBuilding an Associative Classification Data Model Based on the Apriori MethodМулюковаК. В.MulyukovaK. V.

Ксения Валериановна Мулюкова - аспирант 

Таганрог

Ksenia V. Mulyukova - Postgraduate student

Taganrog

mu.ksusha@yandex.ruКурейчикВ. М.KureichikV. M.

Виктор Михайлович Курейчик - д.т.н., профессор

Таганрог

Victor M. Kureichik - Dr. Sci. (Technical sciences), Professor

Taganrog

vmkureyik@sfedu.ruИнженерно-технологическая академия Южного федерального университетаРоссияEngineering and Technological Academy of the Southern Federal UniversityRussian Federation202018082020244412Copyright © Мулюкова К.В., Курейчик В.М., 20202020Мулюкова К.В., Курейчик В.М.Mulyukova K.V., Kureichik V.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://openedu.rea.ru/jour/article/view/745

Целью работы является исследование современных проблем и перспектив решения интеллектуального анализа больших веб-данных в реальном времени, а также возможность практической реализации технологии Web Mining для больших веб-данных на практическом примере. Материалы и методы. Исследование включало в себя обзор библиографических источников по проблемам интеллектуального анализа больших данных. Была применена технология Web Mining для ассоциативного анализа больших веб-данных, а также компьютерное моделирование практической задачи анализа транзакции с помощью скриптового языка общего назначения (PHP). Результаты. В ходе работы описана специфика технологии Data Mining, а также был проанализирован современный подход к анализу больших веб-данных – Web Mining. Дана краткая классификация решаемым задачам с помощью технологии Web Mining. Обоснована проблема интеллектуального анализа больших веб – данных на скриптовом языке общего назначения (PHP): отсутствие библиотек для интеллектуального анализа данных, затрудненная нормализация данных к виду необходимому для интеллектуального анализ, взаимодействие с системой управления базой данных. Так же был реализован пример, показывающий подход к интеллектуальному анализу больших веб-данных. На основе представления о технологии Web Mining и описанных сложностях анализа веб-данных на языке PHP, были предложены приёмы эффективного решения поставленной практической задачи интеллектуального анализа веб-данных на основе транзакций, совершенных в динамическом веб-приложении. Был разработан модуль ассоциативного анализа транзакций клиентов на языке программирования PHP. Модуль включает в себя класс интеллектуальной обработки данных. Так же разработана структурная схема модуля, архитектура системы. Построенный модуль позволяет решить основную часть проблемы ассоциативного анализа больших веб-данных по технологии Web Mining с целью решения поставленной задачи выявления закономерностей в большом массиве веб-данных. Ассоциативный анализ веб - данных происходит значительно быстрее благодаря сочетанию скриптового языка общего назначения и объектно-ориентированного подхода. Заключение. По результатам проведённого исследования, можно утверждать, что современное состояние технологии анализа больших веб-данных позволяет эффективно обрабатывать объекты данных, выявлять закономерности, получать скрытые данные и получать полноценные статистические данные в реальном времени. Полученные результаты могут использоваться как в целях первичного изучения технологий анализа больших веб-данных, так и в качестве дополнения к системе управления содержимым для интеллектуального анализа веб-данных. Использование технологии ассоциативного анализа и созданного универсального класса-обработчика делает созданный модуль гибким, а возможность ручной интеграции делает данный модуль универсальным (не зависит от системы управления базой данных). Методы алгоритма работают с выбранными данными. Данный фактор существенно упрощает дальнейшую разработку программного кода.

The purpose of the work is to explore the current problems and prospects of mining solution, big web data in real time, as well as the possibility of practical implementation of Web Mining technology for big web data on a practical example. Materials and methods. The study included a review of bibliographic sources on big data mining. We used Web Mining technology for associative analysis of large web data, as well as computer modeling of the practical task of transaction analysis using a general-purpose scripting language (PHP). Results. During the work, the specifics of the Data Mining technology were described, and a modern approach to the analysis of large web data –Web Mining was analyzed. A brief classification of tasks solved using Web Mining technology is given. The problem of data mining of large web data in a general-purpose scripting language (PHP) has been solved: the lack of libraries for data mining, the difficult normalization of data to the form necessary for associative analysis, interaction with the database management system. Also, an example showing an approach to the mining of large web data was implemented. Based on the understanding of Web Mining technology and the described difficulties of analyzing web data in the PHP language, methods for effectively solving the practical problem of analyzing web data based on transactions committed in a dynamic web application have been proposed. A module for associative analysis of customer transactions in the programming language PHP was developed. The module includes an intelligent data processing class. The structural scheme of the module and system architecture were developed. The constructed module allows us to solve the main part of the problem of associative analysis of large web data using Web Mining technology in order to solve the problem of identifying patterns in a large array of web data. Associative analysis of web data is much faster because of the combination of a general-purpose scripting language and an object-oriented approach. Conclusion. According to the results of the study, it can be argued that the current state of the technology for the analysis of large web data allows efficiently process data objects, identify patterns, obtain hidden data and receive complete statistical data in real time. The results can be used both for the purpose of the initial research of technologies for analyzing large web data, and as an addition to the content management system for the intelligent analysis of web data. The usage of the technology of associative analysis and the created universal handler class makes the created module flexible, while the possibility of manual integration makes this module universal. With manual integration, the database management system is not important. Algorithm methods work with selected data. This factor greatly simplifies the further development of program code.

большие данныеData MiningWeb Miningвеб-данныеPHPструктураанализ данныхbig dateинтеллектуальная обработка данныхассоциативный анализassociative analysisData Miningweb dataWeb Miningdata analysisbig dateassociative analysisdata analysisРабота выполнена за счет частичного финансирования по гранту РФФИ ГР №18-07-00050ReferencesАкимушкин В.А., Поздняков С.Н. Обзор методов educational data mining для анализа протоколов взаимодействия обучаемого с «научными играми» // Компьютерные инструменты в образовании. 2013. № 6. С. 26–32.Akimushkin V.A., Pozdnyakov S.N. Review of educational data mining methods for analyzing the protocols of student interaction with «scientific games». Komp’yuternyye instrumenty v obrazovanii = Computer tools in education. 2013; 6: 26-32. (In Russ.)Марц Н., Уоррен Д. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени. М.: Вильямс, 2017. 368 с.Marts N., Uorren D. Bol’shiye dannyye. Printsipy i praktika postroyeniya masshtabiruyemykh sistem obrabotki dannykh v real’nom vremeni = Big data. Principles and practice of building scalable real-time data processing systems. Moscow: Williams; 2017. 368 p. (In Russ.)Кошик А. Веб-аналитика 2.0 на практике. Тонкости и лучшие методики. М.: Вильямс, 2014. 528 с.Koshik A. Veb-analitika 2.0 na praktike. Tonkosti i luchshiye metodiki = Web analytics 2.0 in practice. Subtleties and best practices. Moscow: Williams; 2014. 528 p. (In Russ.)Novikova G.M., Azofeifa E.J. Semantics of big data in corporate management systems // Discrete and Continuous Models and Applied Computational Science. 2018. № 4 (26). С. 383–392.Novikova G.M., Azofeifa E.J. Semantics of big data in corporate management systems. Discrete and Continuous Models and Applied Computational Science. 2018; 4(26): 383 - 392.Паклин H., Орешков В. Бизнес-аналитика: от данных к знаниям. СПб.: Питер, 2013. 704 с.Paklin H., Oreshkov V. Biznes-analitika: ot dannykh k znaniyam = Business analytics: from data to knowledge. Saint Petersburg: Peter; 2013. 704 p. (In Russ.)Благирев А. П., Хапаева Н. Big Data простым языком. М.: АСТ, 2019. 256 с.Blagirev A. P., Khapayeva N. Big Data prostym yazykom = Big Data in simple language. Moscow: AST; 2019. 256 p. (In Russ.)Кычкин А.В., Квитко Я.И. Архитектурно-функциональная организация информационной системы управления большими данными в промышленности и энергетике // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2018. № 25. С. 109–125Kychkin A.V., Kvitko YA.I. Architectural and functional organization of the information system for managing big data in industry and energy. Vestnik Permskogo natsional’nogo issledovatel’skogo politekhnicheskogo universiteta. Elektrotekhnika, informatsionnyye tekhnologii, sistemy upravleniya = Bulletin of the Perm National Research Polytechnic University. Electrical engineering, information technology, control systems. 2018; 25: 109-125 (In Russ.)Касторнова В.А. Технология использования программных сред информационно образовательного пространства предметной области «Информатика» в осуществлении контроля знаний // Управление образованием: теория и практика. 2018. № 3 (31). С. 33–49.Kastornova V.A. The technology of using software environments of the educational information space of the subject area «Informatics» in the implementation of knowledge control. Upravleniye obrazovaniyem: teoriya i praktika = Education management: theory and practice. 2018; 3(31): 33-49. (In Russ.)Филяк П.Ю., Байларли Э.Э.О., Растворов В.В., Старченко В.И. Инструментальные средства для использования Big Data и Data Mining в целях обеспечения информационной безопасности – подходы, опыт применения // Вестник Московского финансово-юридического университета. 2017. № 2. С. 210–220Filyak P.YU., Baylarli E.E.O., Rastvorov V.V., Starchenko V.I. Tools for using Big Data and Data Mining in order to ensure information security - approaches, application experience. Vestnik Moskovskogo finansovo-yuridicheskogo universiteta = Bulletin of the Moscow University of Finance and Law. 2017; 2: 210-220 (In Russ.)Павлов Н. В. Советующая интеллектуальная система как инструмент решения маркетинговых проблем и обучения маркетологов-практиков // Практический маркетинг. 2018. № 3 (253). С. 3–9.Pavlov N.V. The advising intellectual system as a tool for solving marketing problems and training marketing practitioners. Prakticheskiy marketing = Practical marketing. 2018; 3(253): 3-9. (In Russ.)Большие Данные [Электрон. ресурс] // Толковый словарь на Академике. Режим доступа: https://dic.academic.ru/dic.nsf/ruwiki/1422719 (Дата обращения: 16.06.2020).Bol’shiye Dannyye = Big Data [Internet]. Explanatory Dictionary on Academician. Available from: https://dic.academic.ru/dic.nsf/ruwiki/1422719 (cited 16.06.2020). (In Russ.)Data Mining: что внутри [Электрон. ресурс] // Habr. Режим доступа: https://habr.com/ru/post/95209/ (Дата обращения: 24.06.2020).Data Mining: chto vnutri = Data Mining: What’s Inside [Internet]. Habr. Available from: https://habr.com/ru/post/95209/ (cited 24.06.2020). (In Russ.)Мулюкова К.В., Курейчик В.М. Проблема анализа больших веб-данных и использование технологии Data Mining для обработки и поиска закономерностей в большом массиве веб-данных на практическом примере // Открытое образование. 2019. № 23 (2). С. 42–49.Mulyukova K.V., Kureychik V.M. The problem of analyzing big web data and the use of Data Mining technology for processing and searching for patterns in a large array of web data on a practical example. Otkrytoye obrazovaniye = Open Education. 2019; 23(2): 42-49. (In Russ.)Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP. 2 изд. Спб.: БХВ-Петербург, 2007. 384 с.Barsegyan A.A., Kupriyanov M.S., Stepanenko V.V., Kholod I.I. Tekhnologii analiza dannykh. Data Mining, Visual Mining, Text Mining, OLAP. 2 izd = Data analysis technologies. Data Mining, Visual Mining, Text Mining, OLAP. 2nd ed. Saint Petersburg: BHV-Petersburg; 2007. 384 p. (In Russ.)Суркова А.С., Буденков С.С. Построение модели и алгоритма кластеризации в интеллектуальном анализе данных // Вестник Нижегородского университета им. Н.И. Лобачевского. 2012. № 2 (1). С. 198–202.Surkova A.S., Budenkov S.S. Building a model and a clustering algorithm in data mining. Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo = Bulletin of Nizhny Novgorod University. N.I. Lobachevsky. 2012; 2(1): 198-202. (In Russ.)Григораш А.С., Курейчик В.М., Курейчик В.В. Программный комплекс решения задачи кластеризации // Программные продукты и системы. 2017. № 2(30). С. 261–269.Grigorash A.S., Kureychik V.M., Kureychik V.V. Software complex for solving the clustering problem. Programmnyye produkty i sistemy = Software products and systems. 2017; 2(30): 261-269. (In Russ.)Валитова Ю. О., Фазанова А. Д. Алгоритм автоматизированного сбора и анализа данных для формирования модели личности специалиста, востребованного рынком труда // Вестник евразийской науки. 2017. № 2 (9). С. 1–9.Valitova YU.O., Fazanova A.D. Algorithm of automated data collection and analysis for the formation of a personality model of a specialist demanded by the labor market. Vestnik yevraziyskoy nauki = Bulletin of Eurasian Science. 2017; 2(9): 1-9. (In Russ.)Сытник А.А., Шульга Т.Э., Данилов Н.А., Гвоздюк И.В. Математическая модель активности пользователей программного обеспечения // Программные продукты и системы. 2018. № 1(31). С. 79-84.Sytnik A.A., Shul’ga T.E., Danilov N.A., Gvozdyuk I.V. Mathematical model of software users’ activity. Programmnyye produkty i sistemy = Software products and systems. 2018; 1(31): 79-84. (In Russ.)Пивоварова Н.В., Видунова С.И. Интеллектуальный анализ данных в фармацевтическом бизнесе // Вестник евразийской науки. 2016. № 6 (8). С. 1–8.Pivovarova N.V., Vidunova S.I. Data mining in pharmaceutical business. Vestnik yevraziyskoy nauki = Bulletin of Eurasian Science. 2016; 6(8): 1-8. (In Russ.)Биллиг В.А., Иванова О.В., Царегородцев Н.А. Построение ассоциативных правил в задаче медицинской диагностики // Программные продукты и системы. 2016. № 2 (114). C. 146–157.Billig V.A., Ivanova O.V., TsaregorodtsevN.A. Construction of associative rules in the problem of medical diagnostics. Programmnyye produkty i sistemy = Software products and systems. 2016; 2(114): 146 -157. (In Russ.)Олянич И.А. Сравнение алгоритмов построения ассоциативных правил на основе набора данных покупательских транзакций // Известия Самарского научного центра Российской академии наук. 2018. № 6-2 (20). С. 379–382.Olyanich I. A. Comparison of algorithms for constructing associative rules based on a set of data of consumer transactions. Izvestiya Samarskogo nauchnogo tsentra Rossiyskoy akademii nauk = Bulletin of the Samara Scientific Center of the Russian Academy of Sciences. 2018; 6-2(20): 379 - 382. (In Russ.)Свиридов А.С., Лазарев В.С. Разработка базовой абстракции действий по выполнению математических операций на языке программирования PHP // Известия Южного федерального университета. Технические науки. 2015. № 4 (165). С. 217–224.Sviridov A.S., Lazarev V.S. Development of a basic abstraction of actions to perform mathematical operations in the PHP programming language. Izvestiya Yuzhnogo federal’nogo universiteta. Tekhnicheskiye nauki = News of the Southern Federal University. Technical science. 2015; (165): 217 – 224. (In Russ.)Лагерев Д.Г., Савостин И.А., Герасимчук В.Ю., Полякова М.С. Исследование склонности пользователей интернет-магазина к покупке на основе технических данных о визитах посетителей интернет-магазина // Современные информационные технологии и ИТ-образование. 2018. № 4 (14). С. 911–922.Lagerev D.G., Savostin I.A., Gerasimchuk V.U., Polyakova M.S. Research of the propensity of users of an online store to purchase based on technical data on visits of visitors to an online store. Sovremennyye informatsionnyye tekhnologii i IT-obrazovaniye = Modern information technologies and IT -education. 2018; 4 (14): 911-922. (In Russ.)

The authors declare that there are no conflicts of interest present.