Технология интеллектуального анализа больших данных для исследования пространственно-временных тенденций застройки крупных городов
https://doi.org/10.21686/1818-4243-2023-3-17-26
- Р Р‡.МессенРТвЂВВВВВВВВжер
- РћРТвЂВВВВВВВВнокласснРСвЂВВВВВВВВРєРСвЂВВВВВВВВ
- LiveJournal
- Telegram
- ВКонтакте
- РЎРєРѕРїРСвЂВВВВВВВВровать ссылку
Полный текст:
Аннотация
Целью данной работы является исследование современных проблем и перспектив решения обработки больших данных, содержащих сведения об объектах недвижимости, а так же возможность практической реализации методики обработки подобных массивов данных путем проектирования и наполнения специальной графической абстракции «метадом» на практическом примере.
Материалы и методы. Исследование включает обзор библиографических источников по проблемам анализа больших данных и применение их в современной области строительства крупных городов. При исследовании была применена методика представления данных в графической форме – абстракции. Математической основой методики является использование многомерных пространств, где измерения – это характеристики отдельных объектов. Применено компьютерное моделирование практической задачи с помощью языка программирования C#. Хранение больших данных выполнено на основе сервера MongoDB. Для визуализации данных применяется Web-интерфейс на основе HTML и CSS.
Результаты. В ходе работы были выделены основные характеристики больших данных, а также описана специфика массивов данных, состоящих из сведений об объектах недвижимости крупного города.
При обработке данных, состоящих из сведений об объектах недвижимости крупного города, возникают определенные сложности. В связи с этим были предложены приёмы эффективного решения поставленной практической задачи обработки и поиска закономерностей в большом массиве данных: абстракция «метадом», агрегатор данных.
Были получены табличные данные по крупному городу путем анализа трех миллионов записей, содержащие более 10 групп данных, при базовом наборе параметров: этаж, этажность, цена, площадь, жилая площадь, кухонная площадь, тип, операция. Был создан кластер на MongoDB на несколько компьютеров, каждый из которых занимался собственным набором данных без сведения промежуточных результатов.
Результаты вычислительного эксперимента показали, что при использовании графической формы (векторной) представления больших данных, сократились расходы и время на интерпретацию данных интеллектуального анализа.
Совмещение методов обработки больших данных и их представления через графическую абстракцию – позволяют получить новые результаты по имеющимся наборам данных.
Заключение. В ходе исследования было выявлено, что представление групп полученных данных в графическом изображении обладает рядом преимуществ над табличным представлением данных (векторное изображение легко масштабировать, возможность сравнения без построения графиков).
Предложенная схема визуализации больших данных путем построения абстрактных векторных изображений является альтернативой традиционным таблицам, позволяя взглянуть иначе на массивы данных и результаты их обработки.
Полученные результаты могут использоваться как в целях первичного изучения технологий обработки больших данных, так и в качестве основы разработки уже реальных приложений в следующих сферах: анализ изменения площадей домов с течением времени, анализ изменения этажности городской застройки, динамика и распределение спроса и предложения и т.д.
Ключевые слова
Об авторах
К. В. МулюковаРоссия
Ксения Валериановна Мулюкова, Аспирант, Кафедра «Систем автоматического управления»
Таганрог
И. В. Мулюков
Россия
Иван Валерианович Мулюков, Студент бакалавриата
Ростов-на-Дону
В. М. Курейчик
Россия
Виктор Михайлович Курейчик, Д.т.н., профессор, Кафедра «Систем
автоматического управления»
Таганрог
Список литературы
1. Valeev S.S., Kondratyeva N.V. Aviation industry stochastic model based on big data concept // Ученые записки Казанского университета. Серия Физико-математические науки. 2018. № 2(160). С. 392-398.
2. Марц Н., Уоррен Д. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени. М.: Вильямс, 2017. 368 с.
3. Honarvar A.R., Sami A. Towards Sustainable Smart City by Particulate Matter Prediction Using Urban Big Data, Excluding Expensive Air Pollution Infrastructures // Big Data Research. 2019. Т. 17. № 22. С. 222-226. https://doi.org/10.1016/j.bdr.2018.05.006.
4. Xiao X., Chao X. Rational planning and urban governance based on smart cities and big data // Environmental Technology & Innovation. 2021. Т. 21. С. 65-76. https://doi.org/10.1016/j.eti.2021.101381.
5. Ivanov N., Gnevanov M. Big data: perspectives of using in urban Planning and management // Business Technologies for Sustainable Urban Development, December 20-22 2017, St. Petersburg, Russia. https://doi.org/10.1051/matecconf/201817001107.
6. Умный город. Ведомственный проект Минстроя России [Электрон. ресурс] // Проектная дирекция Минстроя России. 2023. Режим доступа: https://russiasmartcity.ru. (Дата обращения: 13.03.2023).
7. Благирев А.П., Хапаева Н. Big Data простым языком. М.: АСТ, 2019. 256 с.
8. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP. 2 изд. СПб.: БХВ-Петербург, 2007. 384 с.
9. Хаханов В.И., Обризан В.И., Мищенко А.С., Tamer B.A. Метрика для анализа big data // Радиоэлектроника и информатика. 2014. № 2 (65). С. 26-29.
10. Hong L., Luo M., Wang R., Lu P., Lu W., Lu L. Big Data in Health Care: Applications and Challenges // Data and Information Management. 2018. Т. 2. № 3. С. 175-197. https://doi.org/10.2478/dim-2018-0014.
11. Рыцарев И.А., Кирш Д.В., Куприянов А.В. Кластеризация медиа-контента из социальных сетей с использованием технологии Big Data // Компьютерная оптика. 2018. № 5 (42). С. 921-927.
12. Мулюкова К.В., Курейчик В.М. Проблема анализа больших веб-данных и использование технологии Data Mining для обработки и поиска закономерностей в большом массиве веб-данных на практическом примере // Открытое образование. 2019. № 23 (2). С. 42-49.
13. The most popular database for modern apps [Электрон. ресурс] // MongoDB. 2023. Режим доступа: https://www.mongodb.com. (Дата обращения: 26.03.2023).
14. Сытник А.А., Шульга Т.Э., Данилов Н.А., Гвоздюк И.В. Математическая модель активности пользователей программного обеспечения // Программные продукты и системы. 2018. № 1 (31). С. 79-84.
15. Григораш А.С., Курейчик В.М., Курейчик В.В. Программный комплекс решения задачи кластеризации // Программные продукты и системы. 2017. № 2 (30). С. 261-269.
16. Heripracoyo S., Kurniawan R. Big Data Analysis with MongoDB for Decision Support System // Telkomnika. 2020. Т. 14. № 3. С. 1083-1089. https://doi.org/10.12928/TELKOMNIKA.v14i3.3115.
17. Celesti A., Fazio M, Villari, M.A Study on Join Operations in MongoDB Preserving Collections Data Models for Future Internet Applications // Future Internet. 2019. Т. 11. № 83. С. 1-17. https://doi.org/10.3390/fi11040083.
18. Yang C, Huang Q, Li Z, Liu K, Hu F. Big Data and cloud computing: innovation opportunities and challenges // International Journal of Digital Earth. 2017. Т. 10. № 1. С. 13-53. https://doi.org/10.1080/17538947.2016.1239771.
19. Novikova G.M., Azofeifa E.J. Semantics of big data in corporate management systems // Discrete and Continuous Models and Applied Computational Science. 2018. Т. 4. № 26. С. 383-392. https://doi.org/10.22363/2312-9735-2018-26-4-383-392.
20. Ignatova E, Zotkin S, Zotkina I. The extraction and processing of BIM data // IOP Conference Series: Materials Science and Engineering. 2019. Т. 365. № 6. С. 1-9. https://doi.org/10.1088/1757-899X/365/6/062033.
21. Панков А.В., Крибель А.М., Лаута О.С., Васильев Н.А. Метод по совершенствованию информационно-аналитической работы на основе комплексирования результатов распознавания состояний объектов контроля с использованием методов машинного обучения // Наукоемкие технологии в космических исследованиях Земли. 2022. № 2 (14). С. 27-35.
22. Белов В.А., Никульчев Е.В. Оценка временной эффективности форматов хранения больших данных в динамике роста объема данных // Современные информационные технологии и ИТ-образование. 2021. № 4 (17). С. 889-895.
Рецензия
Для цитирования:
Мулюкова К.В., Мулюков И.В., Курейчик В.М. Технология интеллектуального анализа больших данных для исследования пространственно-временных тенденций застройки крупных городов. Открытое образование. 2023;27(3):17-26. https://doi.org/10.21686/1818-4243-2023-3-17-26
For citation:
Mulyukova K.V., Mulyukov I.V., Kureichik V.M. Big Data Intelligent Analysis Technology for the Study of Spatial and Time Trends in the Development of Large Cities. Open Education. 2023;27(3):17-26. (In Russ.) https://doi.org/10.21686/1818-4243-2023-3-17-26
ISSN 2079-5939 (Online)