基于华为云的数据挖掘探讨.pdf

30 Vol.40,No.1January,2024第 40 卷第 1 期2024 年 1 月IT REPORT0 引言在大数据时代下，各行各业的数据量指数级增长现象非常普遍，数据类型的多样化和多类型特征更加明显。在企业和各行业的发展过程中针对海量数据进行分析并提取出其中有效数据进行展示能够发挥出重要的指导作用。华为云由于其具有良好的数据处理能力和可操作性目前已经成为服务器终端非常重要的一种媒介1。本文主要基于基于华为云的数据挖掘探讨张建磊1，朱继阳2，刘超3，臧洪睿3，卢颖辉2（1 北京中电普华信息技术有限公司，北京100107；2 国网内蒙古东部电力有限公司，内蒙古呼和浩特010010；3 国网吉林省电力有限公司信息通信公司，吉林长春130000）摘要：本文通过基于华为云的数据挖掘和展示系统设计实现数据处理和展示平台集成，最后利用我国某市的气候数据测试系统平台运行状况，经过测试发现，基于华为云的数据挖掘平台具备稳定数据提取能力，表现出了良好的数据展示及可视化界面效果，本文基于华为云的数据平台系统设计可以为后续平台数据分析和展示提供重要参考。关键词：华为云；数据挖掘；处理中图分类号：TP31文献标志码：A文章编号：1672-4739（2024）01-0030-03Exploration of Data Mining Based on Huawei CloudZHANG Jianlei1，ZHU Jiyang2，LIU Chao3，ZANG Hongrui3，LU Yinghui2（1.Beijing Zhongdian Puhua Information Technology Co.,Ltd.,Beijing 100107,China;2.State Grid Inner Mongolia East Electric Power Co.,Ltd.,Hohhot 010010,China;3.State Grid Jilin Electric Power Co.,Ltd.,Information and Communication Company,Changchun 130000,China）Abstract：This article implements the integration of data processing and display platforms through the design of a data mining and display system based on Huawei Cloud.Finally,the operation status of a climate data testing system platform in a certain city in China is utilized.After testing,it is found that the data mining platform based on Huawei Cloud has stable data extraction capabilities and exhibits good data display and visualization interface effects,This article is based on the data platform system design of Huawei Cloud,which can provide important reference for subsequent platform data analysis and display.Keywords：Huawei Cloud；data mining；handle华为云的特征，针对海量数据进行全面分析后提取出其中的有效数据并给予展示，希望能为进一步提高数据处理能力、全面推动数据可视化，为用户打造数据处理和展示的一体化平台提供服务。1 华为云及数据挖掘1.1 华为云华为云目前已经成为行业内部极具知名度的一种数据处理终端，用户可以结合自身情况通过华为云的供应商来相应采购相适应的服务器类型，云服务器通常情况下是将服务器资源数据进行虚拟化计算和存储，因此在实践应用过程中现实的物理服务器并不存在任何差别。下图 1 位华为云应用平台2。收稿日期：2023-12-08作者简介：张建磊（1985.11-），男，汉族，北京人，中级工程师，本科，研究方向：计算机系统服务，数据处理。31 Vol.40,No.1January,2024第 40 卷第 1 期2024 年 1 月IT REPORT图1 华为云应用平台自主性选择是华为云服务器的一个重要特征可结合自身情况来采购不同大小、宽带、内存等相关配置的服务器，当在时间使用过程中发现自身的服务配置不满意的情况下用户可以直接通过华为云进行服务器升级3。此外华为云服务器还能够为用户提供更加全面的服务，在采购相关服务器之后用户可以通过华为云自主下载相关软件，同时华为云还为服务器提供漏洞修复和病毒检测等功能。华为云服务器的 CVM 由于在云端部署，因此其物理媒介和基础设施等建设成本会更低，用户在使用过程中可以节约大量资金；与传统物理服务器相比较，云服务器可以避免人为干预系统配置而导致的失误出现，用服务器还可以为用户提供重装系统功能，仅需数秒就可以重新配置整个系统，用户的使用时效性得到极大提升，由于其配置了更加便捷的网络连接服务，因此用户可以在任何时间段任何地点通过网络端来发布信息，使用者也可以通过云端来查看消息。1.2 数据挖掘所谓数据挖掘主要指的是通过采集量化、不全面、离散数据中的连接点，来找出数据之间的关系网，在此基础上来构建起现在的评估思路，这样既可以为现场作业提供指导。数据挖掘产生的不仅包括结构性数据，同时也包括了大量非结构性数据。数据挖掘过程中不仅运用到了数理方法，同时也应用到了统计方法，在信息数据的维护、管理、优化乃至过程控制中的应用非常广泛4。数据挖掘主要是对海量数据进行分析后为行业或领域发展提供预测结果。其最终的目的是要通过对数据库中海量数据进行分析找出数据间的关系网和联络点。其主要功能包括以下一些。第一种功能为概念分析，其主要指的是针对某一类事物或对象来描述其内在联系，并概括分析其基本特征。第二种功能为关联分析。所谓数据关联主要指的是挖掘出数据间的内在规律后针对其某些属性同时出现的模式进行描述5。第三种功能为分类与预测。通过上述的关联分析得出结果之后，提取出其中的重要数据进行全面整合和预测评估，这种方法通常情况下是针对离散数据连对象。第四种为偏差检测分析。所谓偏差检测分析主要指的是针对已有数据或期望值经过分析后找出其中某些数据对象关键测度显著发生变化的情况。在开展偏差分析的过程中通常情况下是通过对结果和不同参照值之间的差别进行对比来得出结果6。2 基于华为云的数据挖掘系统2.1 系统开发环境在本文的设计过程中主要基于华为云服务器来构建数据挖掘和展示系统，该服务器内存为 1GB，配置 11Mbps宽带，磁盘整体容量达到 20g，另外服务器韩额外配置了 a 协议以及安全组件端口。该云服务器主要使用的是Python3.6.0 安装包，完成安装包安装之后即可完成环境变量的自动匹配。最后即可完成 Python 模块安装、2.2 数据库本系统使用的数据库是 MySQL，该数据库负责保存由 API 接口和爬虫技术获取的各类源数据，由于本文系统设计主要是针对某市气候数据进行分析测试，因此在该数据库中纳入了全国各省市的相关气候数据信息，且所有数据信息更新间隔为一小时。2.3 系统测试本次针对系统的测试主要是基于 windows 系统构建网站来开展，针对云服务器的运行效果利用 Apache 进行校核。要想达到这一目的首先需要创建一个Django 项目，其次针对 8091 端口可通过 httpd.conf 文件进行监听并对储存目标进行设置，在网站上输入相应账号和密码号即可完成登录。request.py 文件通过 Django 模块完成匹配后即可发布到云服务器中，随后通过网页工具即可打开相同界面，具体如下图 2 所示，鉴于云服务器与服务器之间的差别，本系统中的windows系统完全可通过不同浏览器来进行访问。图 2 客户端数据登录界面通过互联网的爬虫技术和接口技术可以获得相应的元 32 Vol.40,No.1January,2024第 40 卷第 1 期2024 年 1 月IT REPORT数据，随后即可将其保存到云服务器端，这样即可以为用户的数据存取提供便利，与此同时可利用 Python 来针对数据处理和展示模块中的数据进行预测，最后针对各省会城市数据利用 Tableau 和 R 语言集成来进行可视化展示。在该业务成功运行之后即可将其上传到云服务器中，在此情形下，用户即可通过客户端端口信息或输入 IP 地址来查看相关内容。该项目的具体流程如下图 3 所示。图 3 项目流程3 系统展示功能严格按照本次项目的具体规划将 Django 项目应用到云服务器中之后，即可在客户端数据进行登录。这样既可以在数据库中通过 Django 生成相应数据并将其在数据库中进行保存，这样即可以为后期用户调用和查阅数据提供便利。在本次设计中主要选择了我国某市的气候数据分布情况作为案例，通过基于华为云的数据挖掘平台系统来详细获取气候数据分布状况，即可完成对空气质量、温度和湿度等相关数据的全面记录，而且以 15 分钟为间隔进行一次数据更新，这样不仅可以完成时间的筛选，而且还可以攒湿度和空气指数以及城市等内容中进行筛选。当选择某市时间节点为 2020 年 12 月 30 日的条件下，系统会自动将该市当天的气候分布情况展示出来。4 结束语对于任何机构或者是企业来说在大数据时代下有效数据甚至可以决定其发展，但是目前大部分数据挖掘系统均属于独立存在，并未真正实现数据分析和挖掘以及展示一体化。为适应时代发展的需求以及数据挖掘和展示平台的发展需求，在本文中基于华为云设计出了一种实践数据分析、挖掘和展示与一体化的系统平台。该平台主要通过网络爬虫技术和 API 来获取源数据，同时利用数据挖掘算法对数据进行全面分析和处理后提取出其中的有价值数据进行展示，真正实现了数据的可视化，以气候数据来说，通过数据挖掘可以获得其气候数据分布情况，也可针对其温度、湿度和空气指数等相关数据进行全面的数据化展示，通过检验发现该系统具有极强的可行性。本文中基于华为云的数据挖掘和展示系统可以为后续平台的开发以及数据交互提供一定的借鉴。参考文献：1 刘成明,赵伟,庞海波等.基于华为云的云计算课程实践教学探索与研究J.科技风,2023(22):13-15.2 时娜.华为云“All in”大模型 盘古3.0 登场加速百“模”大战 N.上海证券报,2023-07-10(005).3倪家明,黄刚,崔晓萌等.华为云平台资源服务质量自动评价方法J.自动化技术与应用,2023,42(02):139-142.4马啸,王立淑,宋攀.基于华为云的无人机倾斜数据处理效率和成本分析J.科技传播,2022,14(21):142-144.5楚朋志,许博,肖雄子彦等.基于华为云 ModelArts 及 HiLens自动驾驶实验平台的设计J.传动技术,2022,36(02):38-41.6孙宇航,吴有龙,张帅等.基于北斗+华为云的智慧冷链监控系统设计J.物联网技术,2022,12(04):19-21.