基于Spark的氢能智慧平台研究.pdf

2023年/第9期 物联网技术智能处理与应用Intelligent Processing and Application750 引 言为实现我国“碳达峰”和“碳中和”目标，发展氢能产业是工业、交通等难以脱碳领域实现低碳化的有效措施。随着氢燃料电池技术商业化不断提速，氢能在交通领域的需求更加凸显1。氢能智慧平台是推动氢能工业信息化、智能化建设的典型应用。目前氢能智慧平台大多基于大数据技术、物联网技术以及机器学习等。汤晓栋等人2提出一种加氢站运营管理云服务平台，研究一种数据采集软网关，以解决现有站控系统对外接口单一、难以实现多站点并发通信的问题；同时开发加氢站运营管理云服务平台，实现站内设备管理与安全生产监管。大数据技术在其他领域也有广泛应用，李春彬3提出一种基于 Spark 的公路管理和预警平台，实现公路信息管理、应急事务管理、路网运行监测等功能，提升了公路管理部门路网运行管理和应对突发事件的能力。加氢站是氢能交通商业化应用的中枢，目前处于高速发展中，截至 2022 年 3 月，我国已建成加氢站 264 座并计划 2025 年建成 1 000 座4。但是当前企业管理加氢站面临诸多问题：企业总部难以实时查看旗下全体加氢站的设备运行状态；不能通过充分挖掘海量的设备数据与运营数据背后的商业价值为企业的管理与决策提供有力的支持；缺乏设备运行数据前瞻性预测来减少安全事故发生的风险；缺乏运营订单相关数据前瞻性预测来助力企业制定运营策略等。为解决上述问题，本文提出一种结合工业大数据技术、物联网技术及预测算法的氢能智慧平台，实现企业实时管理旗下加氢站以及根据平台统计分析和预测结果制定运营 策略。1 氢能智慧平台架构氢能智慧平台基于工业大数据技术、物联网技术以及预测模型算法开发，提供了从数据采集、数据处理、分析预测到具体应用整套技术方案。架构上由数据采集层、数据缓冲层、数据处理层、数据储存层及大数据应用层组成。其中数据采集层实现工业设备网关数据实时采集、站控系统日志数据采集、数据库数据同步；数据缓冲层发挥数据缓存、流量控制作用，在数据流量突发情况下发挥流量削峰的作用，保障平台的稳定性；数据处理层实现数据清洗、分流、统计分析等核心计算功能；数据储存层实现海量工业设备数据与运营数据的存储与检索，同时提供数据缓存服务；大数据应用层提供企业实时监管旗下加氢站的客户端，包含如设备运行数据大屏展示、运营数据实时大屏展示等功能。其架构如 图 1 所示。1.1 数据采集层 数据采集层实现工业网关数据采集、日志数据采集与数据库数据采集。根据团体标准加氢站站控系统技术要求 （T/CSTE 00122019）5中关于采集数据的要求，工业网关数据采集模块负责实时采集加氢机、氢气压缩机、储氢瓶组设备、卸气设备、火气监测仪器的运行数据。日志数据采集与数据库数据采集模块负责采集运营订单信息等数据。工业网关数据采集模块用于站内设备数据实时采集。网关数据采集模块架构如图 2 所示。基于 Spark 的氢能智慧平台研究汪方（安徽工业大学，安徽 马鞍山 243032）摘 要：为实现我国“碳达峰”和“碳中和”目标，发展氢能源是一条富有前景的道路。加氢站是氢能源应用的关键角色，但是当前企业管理旗下的加氢站时面临难以实时查看旗下全体加氢站的设备运行状态、不能充分挖掘海量的设备数据与运营数据背后的商业价值、缺乏设备运行数据前瞻性预测、缺乏运营订单相关数据前瞻性预测等诸多问题。为有效解决上述问题，研发一种基于工业大数据技术、物联网技术、设备运行数据实时预测算法并结合加氢站实际需求的氢能智慧平台，实现了企业实时监管各加氢站运营、挖掘数据商业价值等诸多功能，有效解决了上述诸多问题，促进了氢能源应用的发展。关键词：物联网；氢能智慧平台；大数据技术；加氢站；ARIMA 模型；工业网关中图分类号：TP311.5 文献标识码：A 文章编号：2095-1302（2023）09-0075-04DOI：10.16667/j.issn.2095-1302.2023.09.019收稿日期：2022-10-24 修回日期：2022-11-22基金项目：安徽省高校协同创新项目（合作攻关，GXXT-2020-012）物联网技术 2023年/第9期 智能处理与应用Intelligent Processing and Application76图 1 大数据平台架构图 2 工业网关数据采集模块加氢机、氢压机、储氢瓶组、卸气设备、火气监测仪器采用 RS 485/RS 422 协议传输数据，设备接入采集网关后，借助配置工具对网关进行 IP 地址配置、设备信息备注等，接着配置设备与网关间的参数，必须保证设备地址、波特率、校验方式等与网关一致。在上位机使用工控组态软件采集数据网关中数据，如WinCC、Kingview 等，通过以太网接口读取网关数据。工控组态软件采集的数据按照 OPC 协议标准转换后，通过 OPC服务软件发送至网关数据采集与转换模块，该模块将数据转换为 JSON 数据格式，再使用 log4j 将数据处理成实时流日志。大数据平台对接网关数据采集与转换模块，通过 Flume 实时采集数据，以上述方式实现网关数据实时采集。日志数据采集模块负责实时采集加氢站管理信息系统中的运营数据日志、设备仪器运行日志。该模块采用 Flume 日志采集系统，该系统具有可靠性高、采集效率高、易管理和扩展性强特点6，满足本平台高效采集日志的需求。数据库数据采集模块负责采集加氢站管理信息系统中数据库中的运营数据，对于数据库数据采集使用两种方式：实时数据库数据采集方式和离线数据库数据同步方式。实时数据库数据采集方式采用 Maxwell 框架。离线数据库数据同步采用 DataX 同步工具，并采用朱永波7提出的改进意见提升DataX 的性能，实现同步不同加氢站的站控系统数据库至氢能智慧平台数据储存层的 Elasticsearch 集群中。1.2 数据缓冲层数据缓冲层采用 Kafka 消息队列。在吞吐量上 Kafka 达到每秒 17.3 万条。在海量、实时、异构的工业设备数据缓冲处理场景下，Kafka 具有高吞吐量、低延时、高可靠和分布式特性7-8。架构中数据缓冲层由 3 台及以上服务器构成Kafka 集群，具备超高吞吐量和低延时，能够有效提升本平台数据计算处理效率和保证数据零丢失。1.3 数据处理层数据处理层由实时数据流分流模块、统计分析模块、预测预警模块构成。数据处理层采用 Spark Streaming 流式计算框架。Spark Streaming 是在大数据领域广泛使用的框架，其集群具有强大的计算能力和存储容量，由于基于内存计算，其速度约为 Hadoop 的 100 倍9。加氢站主要有加氢工艺流程和储氢工艺流程10。通过卸气设备获得氢气后，经氢压机压缩进入储氢瓶组储存，最后通过加氢机为氢燃料电池汽车进行加注。氢压机、储氢瓶组、加氢机是加氢站三大核心设备。实时数据流分流模块将数据缓冲队列中的设备数据按照加氢工艺流程、储氢工艺流程以及火气监测数据进行分流，分流后的数据经过清洗处理再次存入 Kafka 消息队列对应主题中，数据处理层再次读取对应主题数据并实时存入Elasticsearch 集群中。统计分析模块用于加氢站设备运行数据统计、氢气储量统计、运营订单数据统计。该模块周期性统计分析上述数据并提供企业分析报告，企业能够基于运营分析报告，发掘数据背后商业价值，制定运营策略。预测预警模块提供设备运行状态预测预警和运营数据预测功能。设备运行状态预测预警实现了实时展示预测值，并判断预测值是否超过标准范围，若超过标准范围则触发预警程序，该程序将该条数据入库并及时提醒工作人员。运营数据预测功能基于往期运营数据预测未来运营情况，帮助企业2023年/第9期 物联网技术智能处理与应用Intelligent Processing and Application77制定运营策略。1.4 数据存储层数据存储层用于存储设备运行数据、统计分析数据、预测数据和设备异常数据、设备预警数据等，由 Elasticsearch搜索引擎和 Redis 数据库组成。ElasticSearch 的突出特点是在提供海量存储的同时提供近乎实时的搜索服务，保证平台的实时性。采用 Redis 作为数据处理层与应用层的数据缓存，Redis 具备极快的读写速度，应用层可直接从 Redis 读取实时数据，降低数据展示时延。1.5 大数据应用层大数据应用层是客户端，提供设备运行数据大屏实时展示、统计分析数据管理功能、设备异常数据管理功能、运营单数据实时展示与查询功能、设备运行数据预测功能与运营订单数据预测功能，帮助企业实时管理总体运营和具体加氢站运营。在技术上，采取 Spring Boot 结合前端 Vue.js 框架进行前后端分离式系统开发，其中 Spring Boot 作为目前主流开发框架，具有开发过程简便、易部署等诸多优点。2 设备运行数据实时预测算法实现氢能智慧平台结合 ARIMA 算法实现了加氢站设备运行数据实时预测，前瞻性发现设备潜在的安全风险。ARIMA 是一种基于时间序列数据分析和预测的模型，广泛适用于时间序列预测，由 Box 和 Jenkin 在 20 世纪 70 年代提出，该模型对非平稳时间序列进行差分计算使其转换为平稳序列，再基于平稳序列调用 ARMA 模型实现预测11。该模型适合预测设备运行数据，在短期内准确率较高。2.1 基本原理ARMA 模型由自回归模型（AR）和移动平均模型（MA）组成。自回归模型（AR）描述当前值与历史值之间的关系，公式为：yytit iipt=+=1 （1）式中：yt为当前值；为常数项；p 为阶数；i为自相关系数；yt-i表示往期的值；t为误差。移动平均模型（MA）用于描述自回归模型中的累计误差，公式为：yttit iiq=+=1 （2）式中：yt为当前值；为常数项；q 为阶数；i为自相关系数；t表示误差序列。ARMA 模型由式（1）与式（2）组合而成，p 为自回归阶数，q 为移动平均阶数，记为：yytit itit iiqip=+=11 （3）ARIMA 模型是先对非平稳数据进行 d 阶差分，将差分后的平稳数据导入 ARMA 模型进行计算得到预测值。2.2 参数的选取ARIMA 模型需要确定 p、d、q 三个关键参数，p 为AR 公式阶数，d 为差分运算的阶数，q 为 MA 公式的阶数。ARMA 模型要求输入序列是平稳的，采用单位根检测法（Augmented Dickey Fuller,ADF）判断序列的平稳性。先假设序列不平稳（存在单位根），根据单位根检测法得到 ADF检验表。根据检验表中 p 值判断差分阶数 d，若 p0.05，此时对应的差分阶数就是模型中的 d 值。在确定序列具有平稳性后进行 p 和 q 值的参数估计。绘制输入序列的自相关函数（Autocorrelation Function,ACF）和偏自相关函数（Partial Autocorrelation Function,PACF）的图，按照表 1 准则确定参数 p、q。表 1 ARMA（p，q）模型识别准则模 型自相关系数偏自相关系数AR（p）拖尾p 阶截尾MA（q）q 阶截尾拖尾ARMA（p，q）拖尾拖尾自相关函数（ACF）用于判断序列中不同时间取值之间是否相关，根据以下公式计算：ktt ktn kttnxxxxxx=+=()()()121 （4）式中：n 为序列数；xt是序列中的具体值。偏自相关函数（PACF）用于判断长度为 k 的序列首尾两个值，即 x(t)和 x(t-k)两个变量是否具有相关性。2.3 ARIMA 模型算法测试以预测加氢机加注流量为实验案例，预测效果如图 3 所示。图 3 加氢机加注流量预测图 3 为加氢机即将结束加氢过程中的数据预测，预测趋物联网技术 2023年/第9期 智能处理与应用Intelligent Processing and Application78势与实际趋势相同，预测方差为 0.059，准确率约为 93%。以预测加氢机出口压力为实验案例，预测效果如图 4 所示。图 4 加氢机出口压力预测图 4 为加氢机平稳加氢时出口压力数据预测，预测趋势与实际趋势相同，预测方差为 0.1，准确率约为 86%。由此可知，采用 ARIMA 模型预测设备运行数据效果良好且预测速度快，满足实时预测要求。3 结 语本文提出一种从设备数据采集、数据处理、数据存储、分析预测到应用的氢能智慧平台，同时将 ARIMA 模型算法应用于加氢站各类设备运行数据实时预测中，有效地解决了企业管理旗下加氢站的诸多问题，发掘运营数据商业价值，助力氢能应用发展。注：本文通讯作者为汪方。参考文献1 王明华.氢能产业发展之困局“源”与“汇”J.现代化工，2022，42（9）：1-6.2 汤晓栋，鞠晨，张浩.加氢站运营管理云服务平台的设计与实现 J.交通与运输，2021，37（1）：66-70.3 李春彬.基于 Spark 的公路管理和预警平台的设计与实现 D.南昌：南昌大学，2021.4 刘峻，赵汪，高学强，等.全球加氢站产业、技术及标准进展综述 J.太阳能学报，2022，43（6）：362-372.5 中国技术经济学会.加氢站站控系统技术要求：T/CSTE 00122019 S.广东：出版者不详，2019.6 赵创业，唐亮亮，郭威，等.基于 Ansible 和 Flume 的海量数据自动化采集系统 J.电子设计工程，2020，28（3）：47-51.7 朱永波.大数据集成开发平台的研究与实现 D.北京：北京邮电大学，2021.8车思阳.基于Kafka的大容量实时预警数据汇集分发技术研究D.成都：电子科技大学，2021.9 姚军，管米利，乔帆.基于 Spark 的煤矿安全预警系统 J.现代电子技术，2022，45（12）：49-54.10 叶召阳.外供氢加氢站工艺流程及设备研究 J.中国资源综合利用，2020，38（12）：92-95.11 胡剑波，罗志鹏，李峰.“碳达峰”目标下中国碳排放强度预测基于 LSTM 和 ARIMA-BP 模型的分析 J.财经科学，2022，66（2）：89-101.作者简介：汪方（1994），男，硕士研究生，研究方向为大数据技术。6 司云朴.组合称重装置控制系统研究与开发 D.大连：大连工业大学，2018.7 刘锦霞.基于 ARM+FPGA 的高精度电能质量分析系统研究 D.洛阳：河南科技大学，2019.8 CHENG F B，REN K K，LI W K，et al.The establishment of distributed photovoltaic power station data collection system J.IOP conference series：earth and environmental science，2018，170（4）：042165.9 HU P F，SHEN L，HAN F，et al.Development of the data acquisition system for terahertz spectrometer J.Transactions of the institute of measurement and control，2018，40（3）：805-811.10 LU W，YANG Y W.Data acquisition ad hoc network system based on wireless sensor J.Multimedia tools and applications，2018，79：9699.11 杨宗霖，姚速瑞，张浩峰.卫星/惯性组合定位系统中的数据采集单元设计 J.电子器件，2015，38（2）：452-457.12 肖同新，马炳和，邓进军，等.基于柔性热膜传感器的流体壁面剪应力测量系统 J.传感器与微系统，2013，32（7）：101-105.13 王胜志.一种脑机接口多通道数据采集系统的设计与实现 D.上海：华东师范大学，2022.14 李茂泉.基于嵌入式的多通道数据采集系统设计 D.呼和浩特：内蒙古大学，2021.15 侯川江.高精度电阻应变数据采集系统设计 D.成都：电子科技大学，2021.作者简介：潘绍明（1976），男，硕士，副教授，研究方向为嵌入式智能控制。王 浩（1995），男，硕士，研究方向为嵌入式智能控制。尚会增（1998），男，硕士，研究方向为嵌入式系统及应用。尹梦碟（1995），女，硕士，研究方向为智能控制。（上接第74页）