基于工业互联网的大数据平台建设分析.pdf

基于工业互联网的大数据平台建设分析裴 沛 曾高辉摘要：随着信息技术的飞速发展，工业互联网和大数据技术已经成为推动企业发展和创新的重要驱动力。工业互联网将传统的制造业与互联网技术相结合，实现设备之间的互联互通，促进生产过程的数字化和智能化。大数据技术则可以从海量数据中提取有价值的信息和洞见，为企业决策提供强有力的支持。在这个背景下，建设一个基于工业互联网的大数据平台变得至关重要。对工业互联网和大数据平台的概念进行介绍，并探讨了大数据平台在工业互联网中的作用和关键技术，同时还分析了大数据平台建设的挑战和未来的发展趋势。关键词：工业；互联网；大数据；平台建设一、前言工业互联网的兴起和大数据技术的快速发展为企业提供了新的机遇和挑战。工业互联网将传统的制造业与互联网技术相结合，实现设备之间的互联互通，促进生产过程的数字化和智能化。而大数据技术则能够从海量数据中提取有价值的信息和洞见，为企业决策提供支持。在这一背景下，建设一个基于工业互联网的大数据平台具有重要意义。二、工业互联网与大数据平台的概念（一）工业互联网的定义工业互联网是将传统制造业与互联网技术相结合，实现设备之间的互联互通，实现信息的高效传递和共享，从而提升企业的生产效率和竞争力。（二）大数据平台的定义大数据平台是基于大数据技术构建的信息管理和分析平台，能够实现对海量数据的采集、存储、处理和分析，为企业决策提供有力支持。三、工业互联网与大数据在工业企业迅猛发展的背景下，大数据、互联网极大程度推动了工业企业的发展。应用工业互联网，能提炼出具有价值的信息，依靠线下及互联网等传播方式构建新型的工业投资指标，明确工业产业的发展趋势，提出复杂问题的解决方式1。工业互联网属于新型的信息通信技术，是融合工业经济背景下不可或缺的重要设备，有利于建立人、机、物之间的联系，实现整体性连接，建立全方位、全价值的产业链，构建全新的工业企业制造和服务系统。可以辅助工业的智能化、网络化和数字化发展，为第四次工业革命的基础。工业互联网并不单单为互联网工业的应用，其外延性及内涵性更加深刻，可以建立在网络上，基于平台，结合数据，保障安全，维系工业网络化、智能化及数字化的发展。其也是互联网、人工智能、大数据发展的重要集成，也是技术与新产业、新业态的一种企业形态重塑，属于产业链和供应链的重塑，当前工业互联网的融合已经推动了国民经济的发展，构成了智能化、平台化、网络化、服务化、112信息系统工程信息化建设个性化、数字化的六种新型管理模式，其智能不断提升，可辅助实体经济质量的增长，直线降本增效，满足工业及绿色、安全、高质量发展需求。对比消费互联网，工业互联网与之差异性显著。首先，具有差异性的连接对象，消费互联网主要面向人连接，场景十分简单；工业互联网连接对象复杂，不仅包括人、机、物，还包括产业链和价值链，场景设置十分复杂。第二，技术要求具有较大的差异性，工业生产与工业互联网之间联系紧密，需要保障传输网络具有更高的安全性和可靠性。第三，用户属性存在差异性，消费互联网主要面向大众，具有较强的用户共性需求，但是具有较低的专业化水平，而工业互联网所面向的为各行各业，需要与行业技术水平、经验、理论知识相关，上述特征使得工业互联网具有专业性、复杂化及多元化的特征。由此可见，工业互联网的发展是一个长久而繁杂的过程。大数据研究，就是指在日常生活和工作中，通过对大数据的观察，并认真总结规律性的共性，加以分析总结并归纳出研究结论，以使结果可以被预见，并依靠多种移动传感器开展捕捉干预。随着科学技术的高速发展，我们在日常生活和工作中会产生海量的信息数据。大数据分析技术共计涵盖两种类型，主要利用机器全面开展数据文本的研究。一般来说，大数据技术对于文本分析数据的应用较多，机器学习在文本分析和应用中具有非常重要的作用。比如，通过物联网技术的应用，人们可以利用传感器技术全面地进行文本数据的收集和整理，但是针对大量的缺少规律的海量数据来说，其信息的关键点在何处、人们该如何利用、怎样对数据进行分类和分析、这些数据反映出了什么问题、具有什么样的深层次价值？这些都是大数据技术可以解决的问题。简单来说，大数据是由传统的结构化数据和新型的非结构化数据构成。这里所说的“新型数据”源于社交网络、互联网等，包括文本、图像、音频、视频等非结构化数据，这种数据现占全球总数据的 75%以上。近年来，科技革命不断发展，产业变革速度不断提升，互联网已经从消费转向生产领域，工业经济主要由数字化向智能化和网络化发展。随着互联网的创新及新工业革命的形成，极大程度促进了工业互联网的发展，使得制造业与新一代信息技术相融合，与产业变革趋势及技术发展趋势相适应。工业互联网的发展能够满足制造强国发展及网络强国建设需求，能够对供给侧结构性变革不断深化，满足我国经济转型的发展需求，也是实现碳中和目标的主要方式，能推进可持续发展战略的顺利实现。由工业经济发展情况分析，工业互联网的应用为制造强国的形成奠定了基础，首先，其推动了传统工业的变革，升级了工业领域生产方式，能够以跨区域、系统、设备、厂区的互联互通形式，满足服务资源及生产资源在高效率、大范围、精准化配置之中的应用，有利于实现降本增效、安全绿色发展需求，能够满足绿色化、智能化、科技化发展需求，促进工业经济发展水平的提升。其次，有利于提升新兴产业规模，工业互联网可辅助生产、管理、设计及服务等各个环节由数字化向全面集成化推进，有利于实现生产模式、创新方式、商业范式及组织形式的变革，实现智能化制造，催生新的平台，协同网络开展个性化定制和服务化的延伸，从而满足新产业、新业态和新模式的发展需要。从网络设施建设角度分析，工业互联网属于网络强国建设的关键，首先可提升网络的升级和发展，工业互联网有利于实现人与人之间的相互连接，物与物之间的相互连接，能够全面互联人、机、物与系统，从而有利于提升网络设施支撑服务的功能。其次，有利于扩大数字经济空间，能够实现跨领域及上下游之间的连通，使得网络由虚拟至实体，由生活至生产，从而促进网络经济发展空间的拓展。由工业经济发展情况分析，制造强国建设与工业互联网密不可分，即实现工业的转型与发展可以通过全面互联互通，跨地区、厂区、系统及设备的方式，满足服务资源及生产资源在高效率、大范围、精准化配置之中的应用，有利于实现降本增效、安全绿色发展需求，能够满足绿色化、智能化、科技化发展需求，促进工业经济发展水平的提升。四、工业大数据与互联网的效用在工业互联网不断发展的背景下，可实现跨界数据及产业链上下游数据的连通，能够对数据进行转变，可以实现数据向大数据的转变。在工业互联网与大数据特征日益明显的背景下，其可以全方位、多角度、全过程、全要素地融合，在信息数据的支撑下，实现工业企业业务的融合发展和关联性发展，能够渗透到由原料的采购到产品设计、制造的不同环节中，关注相关信息，确保产品使用性能的最优化，可保障产品最终设计质量与相关标准符合，在应用和设计数据时能够实现跨越不同的设计与指导水平的增长。为确保产品的完整和数据的真实，必须携带产品的全部工艺和尺寸，对其售后和制造的使用信息等进行保障2。大数据与工业互联网之间的连接还可以利用网络连接到企业的管理平台之中。企业113信息系统工程信息化建设管理平台可以借助视频远程故障分析和无线网络等形式远程指导设备应用，做出播报预警。五、工业数据平台的建设（一）云平台总体架构借助统一数据源及数据口径、数据出入口开展工业大数据平台的数据查找，满足各种专业分析需求，不断提升信息模型的完善度，达到统一化信息模型的目的。应用云平台总体架构，需要保障 PssS 的环境与服务层和业务层。从 PaaS 环境层分析，其可支撑关键性软件和组件的运行，还涵盖数据库和各种中间件，其中代表性较强大数据处理为 Hadoop。从整体情况分析，面向一般数据中心典型应用场景会提供云平台总体架构。从其整体应用情况分析，可以架构面向一般数据中心的应用场景，可以混合 IT 资源应用，可建立云模式之下的基础资源调度方式，其可应用 PaaS 的能力，以服务形式凸显系统典型软件提供统一性的环境支撑于业务系统之中，开展统一性监控和管理，以此实现普遍应用大数据的能力，向用户提供云服务业务平台，贯穿 PaaS 和LaaS，将其应用于测试、生产及开发的全部流程。（二）数据平台目标的架构大数据平台建立时需要从五个层面开展，即应用层、能力层、数据层、获取层和数据源3。且可通过MapReduce 手段，使得业务可以将任务向任何一个集群服务器之中分布和运行，其可大规模地进行数据的规模化计算，同时考量了设备的不稳定性因素，可促进设备计算高效性和准确性的提升。但是在 Hadoop 云平台建立中，主要应用了非结构化和半结构化的数据，依靠海量数据存储形式，可保障其使用高效化和时效化。（三）分级存储大数据平台之中的数据在数据分级存储时，需要依据相关原则开展，也就是需要以数据基本在数据平台下、在数据生命周期不断向通用性改变的状况之下开展分级存储管理。在此过程中，数据分级管理需要保障主线通畅，对分级原则进行明确4。开展集成改造以后，可将数据库之中的关键性数据向低成本分布式数据库转化，其可对主数据库存储压力发挥缩减效用，以此实现深度分析支持数据的功能，就是存储系统的关键性功能。（四）大数据平台数据处理流程为满足技术要求，数据收集以结构化与非结构化方式开展，数据处理主要从以下几个环节入手：第一，导入源数据于 ETL 之中，开展转化，并入库；第二，主数据仓库加载基础数据，其存储 3 年数据；第三，清洗、转换以后，将在 ODS 分布式数据库之中存放数据，存储周期为 2 个月，会随机分析可以应用于数据库中的数据，规划存储年限为 2 年；第四，非结构化数据及ODS 数据，若是爬至网页数据 ftp 至 Hadoop 之中，平台必须长久地存储；第五，非结构化数据分析处理过程中，Hadoop 平台可完成，其所形成的结果会向分布式数据库之中加载5。六、大数据平台建设的关键技术（一）数据采集技术大数据平台的建设需要有效地数据采集技术。其中包括传感器技术、物联网技术和边缘计算技术。传感器技术用于实时感知和采集设备和环境数据，物联网技术用于实现设备之间的互联互通，边缘计算技术则能够在接近数据源的边缘设备上进行数据处理和分析，减少数据传输的延迟和带宽消耗。（二）数据存储与管理技术大数据平台需要应对海量数据的存储和管理需求。传统的关系型数据库已经无法满足大数据处理的要求，因此出现了分布式文件系统和 NoSQL 数据库等新的数据存储技术。同时，数据安全和隐私保护也是大数据平台建设中不可忽视的方面，需要采取适当的数据加密和权限管理措施6。（三）数据处理与分析技术大数据平台需要强大的数据处理和分析能力。其中包括数据清洗、数据挖掘、机器学习和人工智能等技术。数据清洗用于去除数据中的噪声和错误，数据挖掘能够从数据中发现潜在的模式和规律，机器学习和人工智能则能够利用历史数据进行预测和决策支持。七、大数据平台建设的挑战（一）数据安全和隐私保护大数据平台涉及海量的敏感数据，数据安全和隐私保护是一个重要的挑战。建设者需要采取有效的安全措施，如数据加密、身份认证和访问控制等，确保数据的机密性和完整性。（二）技术集成和系统架构大数据平台建设涉及各种不同的技术和系统的集成，需要考虑技术之间的兼容性和协同工作。同时，合理的系统架构设计能够提高系统的可扩展性和可维护性。（三）人才培养和管理大数据平台建设需要具备相关技术和管理能力的人114信息系统工程信息化建设才。但目前行业中对于大数据人才的需求远远超过供应，人才培养和管理成为一个重要的挑战。八、大数据平台的未来发展趋势随着技术的不断发展和应用场景的不断扩展，大数据平台将呈现以下几个发展趋势：（一）边缘计算与物联网的融合随着物联网设备的普及和边缘计算技术的成熟，大数据平台将更加注重边缘计算能力的提升。通过在接近数据源的边缘设备上进行数据处理和分析，可以减少数据传输的延迟和带宽消耗，提高响应速度和实时性。（二）强化人工智能与自动化技术的应用大数据平台将更加注重人工智能和自动化技术的应用，以实现智能化的数据处理和决策支持。机器学习、深度学习和自然语言处理等人工智能技术将广泛应用于大数据分析和智能决策，提高工业互联网的智能化水平。（三）加强数据安全与隐私保护随着数据泄露和隐私侵犯事件的频发，大数据平台将加强数据安全和隐私保护措施。引入更加先进的加密技术、安全算法和隐私保护机制，确保敏感数据在采集、存储和传输过程中得到有效的保护。（四）跨行业和跨平台的数据共享与合作大数据平台将促进不同行业和平台之间的数据共享和合作。通过建立开放的数据共享机制和数据交换标准，实现跨行业数据的整合与分析，推动各个行业的创新和合作。（五）智能决策与智能优化的深度融合大数据平台将进一步深化与企业决策和优化的融合。通过将大数据分析与决策系统、运营管理系统等进行深度集成，实现智能决策和智能优化的闭环，提升企业的生产效率和竞争力。九、结语随着工业互联网和大数据技术的不断进步，大数据平台将在推动企业发展和创新中发挥越来越重要的作用。同时，我们也需要克服各种技术和管理上的挑战，推动大数据平台建设迈向更成熟和智能化的更大数据平台建设。未来，大数据平台将更加注重边缘计算、人工智能、数据安全与隐私保护、数据共享与合作以及智能决策与优化的深度融合。这将为企业提供更准确、实时和智能的数据支持，推动企业实现数字化转型和智能化升级。然而，大数据平台建设仍然面临一些挑战。其中包括数据安全与隐私保护的难题，技术集成与系统架构的复杂性以及人才培养与管理的问题。为了克服这些挑战，企业需要加强数据安全措施，推动技术和系统的协同发展，积极培养和引进相关人才，并与其他企业和行业展开合作与共享，共同推动大数据平台建设的进步。综上所述，基于工业互联网的大数据平台建设是推动企业发展和创新的重要驱动力。通过充分发挥大数据平台在数据采集、存储、处理和分析方面的作用，企业能够从海量数据中获取有价值的信息和洞见，为决策和优化提供支持。未来，大数据平台将不断发展，融合新的技术和应用场景，为企业带来更大的价值和竞争优势。参考文献1 朱雪婷,王宏伟.突发公共卫生事件的应急医疗资源配置研究基于网格化管理和大数据平台J.现代管理科学,2021(02):23-30.2 贺宁,邹晓华,唐丽萍.工业互联网背景下大数据技术应用与计算机信息管理专业的融合研究J.江苏科技信息,2020,38(14):62-64.3 吴志强,李国庆,张玉鲁,等.轨道交通行业基于 Handle体系的标识解析应用研究J.电子技术与软件工程,2021(16):207-209.4 丁世来,罗剑武,葛智君,等.基于大数据平台的可视化建模分析机制研究 J.电子产品可靠性与环境试验,2021,39(05):8-13.5 任芳.开源物联网大数据平台赋能智慧物流 访北京涛思数据科技有限公司创始人陶建辉 J.物流技术与应用,2020,26(12):148-150.6 胡琳,杨建军,韦莎,等.工业互联网标准体系构建与实施路径 J.中国工程科学,2021,23(02):88-94.作者单位：昆仑数智科技有限责任公司115信息系统工程信息化建设