基于Kafka的海上风电场数据传输系统设计与实现.pdf

2023 年 31 期创新前沿科技创新与应用Technology Innovation and Application基于 Kafka 的海上风电场数据传输系统设计与实现余建忠，谭任深（中国能源建设集团广东省电力设计研究院有限公司，广州 510663）随着数字技术和信息通信技术的高速发展和广泛应用，我们迎来了一个全新的数字化时代。这个时代不仅对生活和生产方式产生了深刻影响，同时也对企业的经营和发展提出了新的挑战和要求。为了适应这个时代的发展趋势，企业需要进行数字化转型，以提高效率、降低成本并推出创新服务，从而在激烈的市场竞争中获得优势并取得成功1。在当今数字化时代，数据扮演着企业数字化转型最为关键的角色之一。企业需要处理大量的数据，包括客户、业务、产品和运营等各种类型的数据。这些数据能够提供有关客户、市场、产品和竞争对手等方面有价值的信息，帮助企业做出正确的决策以及提高收益2。同时，随着互联网和物联网技术的发展，数据产生和收集的速度也日益加快，数据量的增加也给数据采集和传输带来了新的挑战。能源企业在数字化转型的同时，也面临着推动能源结构转型升级的重要任务。清洁能源的使用和研发成为能源企业的一项重要工作，同时需要加强节能减排和能效提升，推动低碳绿色发展模式的形成，从而实现碳达峰、碳中和的目标3。在此背景下，海上风电作为一种重要的清洁能源，成为沿海城市大力兴建海上风电场的重点方向之一。而对于能源企业来说，监控海上风电场的运行状态，保证其健康运行至关重要。此外，能源企业也在建设自己的数据中心，需要将各个海上风电场的数据都上传到数据中心，以进行统一分析挖掘和应用。例如，结构检测、故障预警、智能运维等应用摘要：在数字经济发展的时代背景下，企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素，数据被大多数人认为是最为关键的要素之一。因此，数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全可靠传输，该文提出一种基于 Kafka 的数据传输系统，可以屏蔽复杂网络环境下的不稳定性，保证数据不会丢失。实践和测试结果表明，该系统不仅解决现有数据传输系统在网络不稳定和高并发传输等方面的问题，还具有容量大、传输效率高及动态扩容等特点。该系统不仅有效解决海上风电场数据的安全可靠传输，也为能源行业数据处理提供一种新的思路和工具。关键词：海上风电场；海量数据；安全可靠；Kafka；高并发中图分类号院TP3文献标志码院A文章编号院2095-2945渊2023冤31-0026-06Abstract:In the era of digital economy,enterprises are constantly faced with the pressure and challenges fromdigitaltransformation.Many energy companies are also actively exploring the key elements of digital transformation,with data beingconsidered one of the most critical elements.Therefore,the security and reliability of data transmission has become extremelyimportant.In order to ensure the safe and reliable transmission of offshore wind farm data,this paper proposes a data transmissionsystem based on Kafka,which can shield the instability in the complex network environment and ensure that the data will not belost.Practice and test results show that the system not only solves the problems of network instability and high concurrenttransmission of the existing data transmission system,but also has the characteristics of large capacity,high transmission efficiencyand dynamic expansion.The system not only effectively solves the safe and reliable transmission of offshore wind farm data,butalso provides a new idea and tool for data processing in the energy industry.Keywords:offshore wind farm;massive data;safety and reliability;Kafka;high concurrency基金项目：广东省自然资源厅科技项目（GDNRC 2021 37）；中国能建广东院科技项目（EV06211W）第一作者简介：余建忠（1990-），男，硕士，工程师。研究方向为计算机。DOI：10.19981/j.CN23-1581/G3.2023.31.00726-创新前沿科技创新与应用Technology Innovation and Application2023 年 31 期可以帮助保证风电场的健康运行，提高整体的发电效率，降低运营成本，带来更高的经济效益。为了确保海上风电场的海量数据能够在复杂的网络环境中稳定传输并避免丢失，同时保障数据的安全可靠，需要构建一套可靠的数据传输系统。本文将介绍以Kafka 作为核心中间件的数据传输系统的设计和实现方法，旨在为海上风电场数据传输提供可靠解决方案。1数据传输的需求现代海上风电场中的各种设备，如风机、塔筒、升压站、海缆和主控辅控等，配备了大量传感器，每秒钟都会产生大量数据。例如，一个 300 MW 的海上风电场每秒钟最高可产生上百兆字节的数据，每天的数据量可以达到近 TB 级别，这就要求数据传输系统必须支持数据压缩和高并发处理能力。海上风电场的生产运维数据产生的数据量庞大，这些数据需要从陆上集控中心传输到区域集控中心或者其他数据中心，传输距离一般是几百公里甚至上千公里，对于数据的可靠传输要求较高。由于距离远且网络环境复杂，网络稳定性不够高，目前有 3 种网络方案可供选择。电力专线成本较高，只有电网采用；运营商专线成本较低，网络效率和稳定性较高；普通公网成本最低，但网络效率和稳定性稍差。无论使用哪种网络方案，都可能遇到网络问题，因此，需要支持断点续传的功能，以保证数据传输的可靠性。此外，护网行动也需要考虑，有时需要断开对外网络，因此，数据传输系统需要支持恢复中断传输的功能。现有数据传统系统更多的是采用直接传输方法，该方法传输可靠性更多地依赖网络的稳定性和带宽。如果遇到网络阻塞或护网行动等情况，传统的数据传输系统可能会导致几天的数据丢失，无法回传至数据中心4-5。此外，海上风电场的数据也有瞬时高峰点，例如结构检测的数据可能每隔几十秒会回传接近百兆的数据，但由于网络带宽的限制，可能会导致部分数据丢失。相比之下，基于 Kafka 的数据传输系统将 Kafka 作为数据缓存中间件，不仅能够屏蔽网络的不稳定，而且能够将瞬时高峰的数据传输变为平缓传输，起到削峰填谷的作用。如图 1 所示，坐标系里波动较大的线表示风电场产生的数据量，比较平缓的线是系统能处理的数据量，系统能够将波动较大的线的高峰放到低谷的时候处理。图 1数据容量图2系统架构设计2.1网络架构设计为了实现海上风电场的数据传输，第一步需要的做的是网络链路的设计。数据需要从集控中心传输到距离几百公里甚至上千公里外的数据中心，通常情况下，可以采用普通公网或者运营商专线等网络。还可以在这基础上，通过 VPN 隧道技术将两地网络连接在一起，如图 2 所示。为了实现这个过程，需要使用带有路由功能和重连功能的 VPN 设备，该设备一端连接到防火墙，另一端连接到内部交换机，通过交换机将内部服务器连接在一起。图 2网络拓扑图通过这种组网方式，结合路由规则设置，集控中心和数据中心之间相当于处于同一局域网内，从而极大地简化了应用层数据传输系统的设计。此外，由于 VPN隧道技术已在网络层或链路层对传输通道进行了加数据量风电场产生数据曲线系统处理数据能力曲线时间27-2023 年 31 期创新前沿科技创新与应用Technology Innovation and Application密，因此在应用层就无需再对数据进行加密，既能确保数据传输的安全，也提高了数据处理的吞吐量。2.2应用架构设计与一般的应用系统不同，数据传输系统由 2 个系统组成：数据生产系统和数据消费系统，如图 3 所示。数据生产系统部署在集控中心内，负责将整个风电场的数据收集后写入 Kafka 消息队列；而数据消费系统则部署在数据中心内，从 Kafka 消息队列获取数据后进行存储、分析或者展示。其中一个关键点，Kafka 消息队列一定是部署在集控中心侧。由于公网或者专线的稳定性可能会有波动，或者需要进行护网行动，只有部署在集控中心侧，并与数据生产系统处于同一局域网内，才能最大程度上避免数据丢失6。3系统架构设计3.1数据生产系统数据生产系统的主要功能是从海上风电场的各种设备或 SCADA 系统中获取数据，并将这些数据写入Kafka 消息队列。由于风电场的设备类型繁多，并且采用的数据协议也不统一，包括 modbus、104 规约、snmp和 ftp 文件等7。因此，在实现数据生产系统时，关键之一是考虑其扩展性，以支持新的数据协议。数据生产系统主要由以下模块组成：用户权限模块、设备管理模块、数据采集模块和数据存储模块，如图 4 所示。图 4系统架构图用户权限模块是数据生产系统的基本功能之一，其主要职责是管理用户和管理用户的权限。用户权限模块允许管理员创建和管理用户账号，并授予不同用户不同的权限。通过该模块，管理员可以管理用户的登录和访问权限，确保系统的安全性和合规性。设备管理模块是数据生产系统的另一个重要功能模块，其主要职责是管理设备。该模块允许管理员对设备进行管理和配置。管理员可以设置每个设备的数据协议，以确保系统能够正确解析设备发送的数据。此外，设备管理模块还维护着设备传感器测点的相关性信息，以便在数据采集过程中能够准确地识别和处理来自各个传感器的数据。数据采集模块是数据生产系统的核心模块之一，其主要功能是解析各种数据协议，并采用插件式管理这些解析器，以便扩展支持新的数据协议。数据采集模块负责与设备通信，解析设备发送的原始数据，并将其转换为统一的数据格式。解析后的数据会被发送到数据存储模块，以便写入 Kafka 消息队列。数据采集模块的协议扩展可以采用静态模式和动态模式。静态模式指在编译前就预先开发好新的数据协议解析器，并在编译时一起打包部署。这种模式的优点是代码相对简洁，只需面向接口进行编程，易于实现。然而，缺点是需要重新编译整个项目，并进行打包部署，相当于需要停止原有系统的运行。另一方面，动态模式允许在系统运行时动态添加新开发的数据协议解析器。这种模式的实现相对困难，需要使用自定义类加载器等技术来实现动态加载。虽然动态模式具有灵活性，但其实现较为复杂。在本系统中，采用了静态模图 3整体架构图扩展协议集控中心数据中心数据生产系统写入数据读取数据数据消费系统Kafka 集群数据生产系统设备管理模块数据采集模块用户权限模块协议插件管理数据存储模块modbus104规约snmpftp文件28-创新前沿科技创新与应用Technology Innovation and Application2023 年 31 期式来实现协议扩展。对于已经建设完成的海上风电场而言，其设备使用的数据协议是确定的。因此，在部署和上线阶段，可以预先开发并包含所有可能使用的数据协议解析器。数据存储模块是数据生产系统的另一个核心模块，其主要功能是将用户等相关的配置信息存储在MySQL 数据库中，并将解析后的设备数据写入 Kafka消息队列。该模块负责将数据发送到适当的 Kafka 主题，以供后续的数据处理和分析使用。数据存储模块在数据存储的同时，具有一个重要功能，即判断从设备获取的数据是否需要写入 Kafka。为什么不直接将所有设备的数据写入 Kafka 并传送回数据中心呢？这是因为许多设备的数据并不一直变化。例如，对于一个开关量，在较长一段时间内可能保持为开或者关，变化并不频繁。类似地，某些设备的模拟量（如电压或电流）在一段时间内也可能保持不变。因此，对于这些变化缓慢的数据，只需在数据发生变化时立即写入 Kafka，而对于数据未发生变化的情况，定期写入 Kafka 即可。数据存储模块通过缓存来实现这个逻辑。当有新的数据进来时，首先判断缓存中是否存在该数据。如果不存在，则将数据以及获取数据的时间戳存储在缓存中并写入 Kafka。如果存在，则判断新数据与缓存中的值是否相等。如果不相等，则直接更新缓存信息并写入Kafka。如果相等，则判断是否达到指定的时间间隔。如果尚未到达间隔时间，则不需要进行任何处理。如果已经到达间隔时间，则更新缓存信息并将数据写入 Kafka。这种方式的好处是可以降低 Kafka 并发写入的压力，提高 Kafka 集群的存储效率。然而，这种方式也存在缺点。在数据消费系统将数据写入数据库后，当需要从数据库中读取某个时间范围内的数据时，需要进行数据填充操作。即使数据在数据库中不存在，也需要根据之前的数据进行填充。3.2Kafka 集群Kafka 是由 Apache Software Foundation 开发的一个分布式流处理平台，是一种高吞吐量、低延迟、可扩展的消息队列系统，通常用于大规模数据的实时处理和分析。其采用发布-订阅模式来处理海量的消息流，可以支持持久化存储和高效读写操作。Kafka 主要用于构建实时数据流管道和流处理应用程序，比如数据收集、数据传输、数据处理和实时分析等领域，可以作为中间件，承担各种数据流的传输和处理任务，同时也可以与其他开源系统集成，如 Hadoop、Storm、Spark 等。总体来说，Kafka 已经成为了数据处理和分析领域的重要组成部分，为海量数据的处理和分析提供了高效、可靠、弹性的解决方案8-9。在 Kafka 集群部署中，至少需要部署 3 个 Broker节点。每个 Broker 节点上可以配置多个数据目录，这样可以提高集群的 IO 能力和数据的可靠性。通常情况下，配置的目录数应等于数据存储盘的个数。为每个设备创建不同的主题（Topic）是一个良好的实践。每个Topic 的分区数（Partition）可以设置为 9，这样可以提高读写性能。然而，需要注意分区数不能设置过多，因为过多的分区会消耗更多的系统资源。同时，将分区设置为 9 有助于后期扩展 Broker 节点。将分区的副本数设置为 2 有助于提高数据的存储可靠性，避免因为一个节点宕机导致数据丢失。副本数为 2 意味着每份数据在 Kafka 集群中存在 2 个副本。然而，需要避免设置过大的副本数，以免占用过多的硬盘空间，导致 Kafka 集群的容量变小。对于存储容量评估，假设一个风电场每天产生 2TB的数据，并且最长的断网时间为 7 d。根据这些假设，总共需要 14 TB 的存储容量。然而，为了考虑容错和Kafka 节点数据存储不平衡性，建议预留大约总容量的30%，以提高可靠性。因此，该风电场需要大约 20 TB的存储容量。此外，需要注意 Kafka 集群的数据过期策略设置。消息按过期时间进行保留，建议将保留时间设置为断开与公网连接的最长时间加 1 d，也就是 8 d。对于 Kafka 集群的硬件要求，Kafka 采用顺序读写方式处理消息，并主要使用操作系统的 Cache 而不是大量内存。根据测试和经验，机器的内存通常只需 32GB就足够，CPU 只需 8 个核心。然而，为了确保即使一个节点宕机也不会影响 Kafka 集群的吞吐量，建议将内存提升至 64 GB，CPU 提升至 16 个核心。3.3数据消费系统数据消费系统的主要作用是通过 VPN 连接到集控中心的 Kafka 集群，从 Kafka 中读取数据，并将读取的数据写入时序数据库 HBase 中。同时，数据消费系统可以实时推送数据给前端大屏显示或其他系统用于数据分析。该系统的主要模块包括用户权限模块、数据解29-2023 年 31 期创新前沿科技创新与应用Technology Innovation and Application析模块、数据转发模块和数据存储模块，如图 5 所示。图 5系统架构图用户权限模块的功能与数据生产系统类似，其主要职责是管理用户和管理用户的权限。数据解析模块的主要功能是对从 Kafka 获取的数据进行解析，并将消费信息回传给 Kafka 集群。该模块负责解析数据的结构和格式，提取出有用的信息，以便进一步进行数据转发和数据存储等操作。数据转发模块的主要功能是将解析后的数据通过常用的协议转发给其他系统。该模块支持多种协议，如 WebSocket 或 MQTT，用于实时将最新的数据转发给前端大屏显示。同时，该模块也支持通过 TCP 或UDP 等协议将数据转发给其他系统，以供进行数据分析和处理。数据存储模块的主要功能是将用户相关的配置信息存储在 MySQL 数据库中，并将解析后的数据写入HBase 数据库。该模块负责将解析后的数据持久化存储，以便后续的查询和分析。同时，用户的配置信息也可以被存储和管理，以满足系统的定制需求。为了提高数据并发处理速度，数据解析模块需要为每个 Topic 设置独立的消费者组，且每个消费者组的消费者数量应与对应 Topic 的分区数量相等，这样可以提高数据的并发处理能力。消费者组的消费者数量不应该大于 Topic 的分区数量，超过分区数量的多余消费者无法被分配到分区，造成系统资源浪费。另一个关键点是，在将消息消费进度回传给 Kafka集群时，应该采用手动提交方式，而不是自动提交。这是为了避免数据尚未完全落库就已经回传了消费信息的情况。如果系统此时发生重启，会导致部分数据丢失。手动提交方式可以确保数据成功写入存储后再进行消费信息的回传。然而，这种提交方式可能导致消息重复消费的问题。为了解决这个问题，要求数据存储模块或者 HBase 能够实现幂等性。HBase 作为一种KeyValue 数据库，通过逻辑上的覆盖，相同的 Key 值可以避免存储相同的数据，从而实现幂等性。数据生产系统和数据消费系统的后台服务均采用当前热门的 Springboot 框架进行开发，并采用 shiro 实现用户权限管理。Springboot 框架的优势在于快速搭建Spring 框架，自动整合第三方框架，能够快速启动 web容器，内嵌 servlet 容器，降低了对环境的要求，能够使用命令直接执行项目10。3.4系统测试该系统已经在某个海上风电场稳定运行了数月时间，并成功将该风电场的部分数据安全可靠地传输至数据中心。因为现阶段只是作为试点项目，并没有进行全部迁移，传输的数据量比较小，并不能验证系统的数据处理能力，所以部署测试环境进行数据处理的压力测试。测试环境部署了 3 个节点的 Kafka 集群，每个节点的机器配置为 4 核 16 G 的虚拟机。首先创建一个测试 Topic，Partition 为 9，副本数为 2，并通过 Kafka 自带的工具进行压力测试。模拟生产 1 000 万的条数据，每条数据大小为 512字节，合计约 4.77 GB 的数据量进行测试。测试结果为平均每秒约 365 MB 的处理能力，每条消息的平均延迟时间为 75.52 ms，最大延迟为 862 ms，CPU 负载接近65%，内存使用率 45%左右。模拟消费 1 000 万的条数据，每条数据大小为 512 字节，合计约 4.77 GB 的数据量进行测试。测试结果：平均每秒约 715 MB 的处理能力，CPU 和内存负载较低。从测试中可以得出，数据生产端和消费端的数据处理能力已经超过了需求，CPU 和内存的提升还可以进一步提升数据能力。而实际项目中该系统的“瓶颈”在于公网的网络带宽，因为我们日常使用千兆网，其数据传输带宽理论值是每秒 125 MB，实际值每秒也可以在 100 MB 左右。测试环境的模拟测试，是生产数据和消费数据单独测试，并且不考虑容错，与正式环境还是有差别的。正式环境不仅仅需要考虑容错、数据过期处理，还需要考虑多客户端连接等因素，所以建议正式环境建议把机器配置应该不低于 16 核 64 G。30-创新前沿科技创新与应用Technology Innovation and Application2023 年 31 期3）使用多时相 Landsat8 数据对吉林梨树县玉米产量进行遥感估产具有可行性，且精度较高，可以对更多种类的农作物、更大范围的作物种植区进行遥感估产研究，能够在农作物遥感应用方面发挥更大的作用。参考文献院1 我国已取得全球粮食遥感估产发言权EB/OL.https:/ 任建强，陈仲新，唐华俊援基于 MODIS-NDVI 的区域冬小麦遥感估产：以山东省济宁市为例J援应用生态学报，20园远（1圆）：圆猿苑员原圆猿苑缘援3 BASTIAANSSEN W G M,ALI S.A new crop yield fore原castingmodelbasedonsatellitemeasurementsappliedacross the Indus Basion,Pakistan J.Agriculture,Ecosystems&Environmen贼，圆园园猿（怨源）：猿圆员原猿源园援4 周青青，胡永红，段建南.农作物遥感估产的方法综述J，国土资源导刊，2014，11（5）：101-103.5 ZHANGM，在匀韵哉匝，悦匀耘晕 在，藻贼 葬造援 悦则燥责 凿蚤泽糟则蚤皂蚤灶葬原贼蚤燥灶 蚤灶 晕燥则贼澡藻则灶悦澡蚤灶葬 憎蚤贼澡 凿燥怎遭造藻糟则燥责责蚤灶早 泽赠泽贼藻皂泽怎泽原蚤灶早 云燥怎则蚤藻则 葬灶葬造赠泽蚤泽 燥枣 贼蚤皂藻原泽藻则蚤藻泽酝韵阅陨杂 dataJ.Interna原tional Journal of Applied Earth Observation&Geoinform葬贼蚤燥灶，圆园园愿，员园（源）：源苑远原源愿缘.6 李郁竹，谭凯琰.华北地区玉米遥感估产方法的初步研究J.应用气象学报，员怨怨缘，远（杂员）：猿猿原源员援7 孙双双.吉林：杠稳国家粮食安全重任 勇攀 800 亿斤粮食生产J.中国食品工业，圆园圆员（在员）：18.8 保护好黑土地 端好“中国饭碗”记省人大代表、梨树县农业技术推广总站站长王贵满J.吉林人大，圆园圆园（员员）：猿愿原猿怨援9 吉林省统计局.2016 年统计年鉴M.长春：吉林大学出版社，2016.10 吉林省统计局.2017 年统计年鉴M.长春：吉林大学出版社，2017.11 吉林省统计局.2018 年统计年鉴M.长春：吉林大学出版社，2018.12 吉林省统计局.2019 年统计年鉴M.长春：吉林电子出版社，2019.4结论本文阐述了海上风电场数据传输的背景、需求特点，并提出了一种基于 Kafka 的数据传输系统的设计与实现方法。通过分析 Kafka 的架构和实现原理，设计了一个高效、可靠的数据传输系统，实现了数据的生产、传输和消费等功能。在实际应用中验证了该系统的可行性和有效性，并进行了测试和优化。值得一提的是，Kafka 已经在互联网企业中得到广泛应用，如实时数据流处理、日志管理和监控、数据同步和复制、消息通知和推送等。在电力行业应用还比较少，但是类似于互联网企业，电力行业生产过程中也会产生大量的实时数据，例如发电机、变压器、开关等设备的运行状态数据，这些数据同样需要实时采集、传输、分析，以支持各种预测、决策和控制应用。因此，Kafka 作为一种高吞吐量、低延迟、可扩展的消息队列系统，可以满足电力行业对实时数据采集和处理的需求。希望本文提出的基于 Kafka 的海上风电场数据传输系统的设计与实现方法，能够为电力行业数据处理提供一种新的思路和工具。参考文献院1 王琮.电力企业数字化转型探索J.华北电业，2022，337（11）：58-59.2 石磊，何天翔，陈端兵.企业数据资产价值评估研究J.中国资产评估，2023，277（4）：20-30.3 张佳銮，王增栩，田中华.碳达峰碳中和背景下广东省电力行业降碳路径研究J.科技和产业，2022，22（8）：61-67.4 熊金莲，刘丰，郭艺峰，等.海洋观测数据传输系统的设计与实现J.计算机应用与软件，2022，39（12）：34-38，101.5 陈明，花桥建，顾小红，等.基于 MQTT 的水务数据传输系统设计开发J.工业控制计算机，2022，35（5）：6-8.6 王飞，孙娇娇，丁文文.基于 Netty 和 Kafka 的工程机械车联网数据采集系统设计方案J.智能物联技术，2022，5（4）：30-35.7 李嘉辉.工业互联网协议识别与解析方法研究及系统实现D.西安：西安电子科技大学，2022.8 叶惠仙.基于 Spark Streaming、Kafka 构建数据中心加工引擎的实践J.网络安全技术与应用，2023，267（3）：51-53.9 黄凯方，刘诚，吴文波.Kafka 在微众平台双路由应急切换中的探索与应用J.广东通信技术，2022，42（8）：67-71.10 王以伍，舒晖.基于 SpringBoot+Vue 前后端分离的高校实验室预约管理系统的设计与实现J.现代计算机，2023，29（1）：114-117.渊上接 25 页冤31-