基于数据中台的配电网规划业务数据自动采集系统设计.pdf

Microcomputer Applications Vol.39,No.8,2023文章编号：1 0 0 7-7 57 X（2 0 2 3)0 8-0 0 52-0 4基于数据中台的配电网规划业务数据自动采集系统设计赵雪，黄存强1，杨曦，刘兴文，田旭1，刘嘉鎏（1.国网青海省电力公司经济技术研究院，青海，西宁8 1 0 0 0 1；2.北京洛斯达科技发展有限公司，北京1 0 0 0 8 8)摘要：为了提高配电网规划业务数据采集精度，设计基于数据中台的配电网规划业务数据自动采集系统。系统以数据中台的模式，将采集与数据接口前置单元的采集前置程序与数据接口程序连接，采集其他企业业务应用系统、配电变压器设备、户表采集设备的规划业务数据，并使用基于数据流概念漂移的自适应集成分类模型实施数据分类处理，然后传输到数据库服务器分类保存，实现数据中台式的数据集中管理。经测试，所设计系统采集精度较高且稳定，并具有较高的抗干扰性，对配电网规划业务数据分类效果较好。关键词：数据中台；配电网；规划业务数据；自动采集系统中图分类号：TM734for Distribution Network Planning Business Based on Data CenterZHAO Xue,HUANG Cunqiang,YANG Xi?,LIU Xingwen,TIAN Xu,LIU Jialiu?(1.Economic and Technological Research Institute of State Grid Qinghai Electric Power Company,Xining 81oool,China;2.Beijing North-star Technology Development Co.,Ltd.,Beijing 1ooo88,China)Abstract:In order to improve the accuracy of data acquisition of distribution network planning business,an automatic data ac-quisition system for distribution network planning business based on data center is designed.In the data center,the systemconnects the acquisition pre-program of the acquisition and data interface pre-unit with the data interface program,and collectsthe planned business data of other enterprise business application systems,distribution transformer equipment and householdmeter acquisition equipment.The adaptive integrated classification model based on data flow concept drift is used to classify thedata,and then it is transmitted to the database server for classification and preservation,so as to realize the centralized manage-ment of desktop data.The test results show that the designed system has high collection accuracy and stability,strong anti-in-terference performance and good classification effect for distribution network planning business data.Key words:data center;distribution network;planning business data;automatic acquisition system速度较快，但是抗干扰性有待提升。0引言数据中台能够充分利用企业数据，具有显著的开发效率伴随配电网的快速发展，配电网相关的数据、信息资料和响应效率。本文将数据中台这一新型资产形态管理模式也逐渐增多，且配电网内部应用复杂性显著，业务数据具有应用在配电网规划业务数据自动采集系统设计中，实现了配多样化，因而配电网数据管理能力呕待优化1。目前，机构电网规划业务数据的有效采集与统一管理。与企业已经不再使用烟肉式数据采集系统，大多使用集中式1硬件设计数据采集与管理系统，此类系统可以高效实现数据管理与运营 2。在电力应用领域中，配电网规划业务的管理存在数据采集效率低、质量差的问题 3。李俊楠等 4设计了基于大数据云平台的电力数据采集系统，此系统可实时采集电力大数据，但是对数据的分类效果有待验证；王继业等 5设计了同期线损用电信息采集系统，此系统对同期线损用电信息采集基金项目：青海省电力公司科技项目（2 0 2 0 1 0 2 2 0 0 XH）作者简介：赵雪（1 9 9 2 一），女，硕士，工程师，研究方向为电力系统规划设计；黄存强（1 9 9 2 一），男，本科，工程师，研究方向为电力系统规划设计；杨曦（1 9 8 7 一），男，硕士，高级工程师，研究方向为电力信息技术；刘兴文（1 9 8 9 一），男，硕士，高级工程师，研究方向为电力系统规划设计；田旭（1 9 9 0 一），男，本科，工程师，研究方向为电力系统规划设计；刘嘉鎏（1 9 9 3一），男，硕士，助理工程师，研究方向为电力信息技术。52基金项目文献标志码：ADesign of Automatic Data Acquisition System微型电脑应用2 0 2 3年第39 卷第8 期1.1硬件环境图1 是基于数据中台的配电网规划业务数据自动采集系统的硬件环境结构图。如图1 所示，此系统的硬件结构分为应用服务器、采集与数据接口前置单元、数据库服务器、配电变压器设备、户表Microcomputer Applications Vol.39,No.8,2023采集设备、通信设备、客户端。采集与数据接口前置单元的采集前置程序与数据接口程序连接，能够采集其他企业业务应用系统、配电变压器设备、户表采集设备的数据，并实施处理，再传输到数据库服务器。应用服务器将数据库里的电网设备与运行数据实施一体化、可视化处理，保存采集前置程序、数据接口程序的全部配置数据与运行数据。数据库采集前接口前服务器置单元置单元配电变压器设备、户表采集设备图1 系统硬件环境结构图1.2结构设计基于数据中台的配电网规划业务数据自动采集系统主要是一种新型资产形态管理的模式，能采集配电网规划业务数据和准确高效实现配电网规划业务数据分类。图2 是系统硬件结构图。系统可以实时采集各种业务数据，并完成源端数据的主数据、元数据集成分类，构建数据仓库实施规划业务数据统一整理，并保存在配电网数据仓库里。元数据管理数据处理模块可视化管理数据分类实时采非结构明细数据外部数据集数据化数据数据通信与传输模块数据库物资主数据运维主数据电网运行数据企业级主数据平台主数据管理图2 系统硬件结构图（1）数据处理模块数据处理模块分为前置机群、实时/历史数据库、数据库维护子模块、数据备份子模块、数据分发子模块等。前置集群能够以数据通信的形式与系统所采集的规划业务数据，通过基于数据流概念漂移的自适应集成分类模型实施数据集成分类，分类后保存在实时/历史数据库之中。数据维护子模块可以完成数据库维护、实施数据监测等任务 6-7。数据备份子模块可实现配电网规划业务数据备份管理。数据分发子模块可实现数据分发管理。（2）数据通信与传输模块数据通信与传输模块的通信模式分别执行本地数据通信、远程数据通信。前者是光纤通信专网、微功率无线通信专网，采用低压电力载波的通信模式；后者是光纤通信专网，采用电力无线专网等通信模式。基金项目2软件设计2.1数据采集功能程序设计图3是自动采集程序示意图。系统能够主动、按时采集指定的配电网规划业务数据，在解析配置参数之后，便会主动启动数据采集程序，把采集的配电网规划业务数据保存在数据库。开始客户端选取数据类型立选取数据开始时间和结束时间通信网络是否是所需数据？应用服务微型电脑应用2 0 2 3年第39 卷第8 期否是返回错误数据采集数据分批入库结束图3自动采集程序2.2基于数据流概念漂移的自适应集成分类模型设置连续的配电网规划业务数据序列可组成数据流E=（e 1，e 2，e n o w），e n o w 是目前的配电网规划业务数据样例，各个样例的训练时间一致。规划业务数据流里各个样例e;存在多属性为m维特征向量。各个属性均存在一个属性值B,B,=di，d 2，,d ip ，各个测试样例都具备一个类标签值D,，所以,被标记的测试样例是（e;ID,）。将数据集E设成历史数据集，将测试样例设成enow+j。2.3权重训练当规划业务数据测试样例e,EE时，使用贝叶斯分类器的后延概率实现权值分配。样例权值训练方法：使用贝叶斯分类器计算各类规划业务数据D，的先验概率，运算指定的测试数据集E中D，出现频率Q（D,）。针对各个训练样例的属性B，而言，需要先运算属性值B,出现的次数再设置Q(D,）。运算D,里各个B出现的频率能够明确先验概率Q(B，I D,）。全部B,与全部B,均必须实施训练，使用源于E的样例ejEE与Q(B,ID,）的分类信息，结合差异的属性值B;，计算样例e；中规划业务数据D;的先验概率Q(e;ID,):Q(e;I D,)=II Q(B,;I D,)为了运算Q（e,I D,），必须使用规划业务数据D的Q(D,)与Q(e;lD,),运算各个D；中e;的概率，之后运算获取D,的后延概率Q(D,le,）。所以,此样例e,的一种选择就是存在最大概率的D,。针对各个样例而言，都必须运算其后延概率，再初始化其权重;。2.4决策树归纳算法决策树可理解为分类树，各个决策树表示一个规则集，此类测试数据以递归形式，被设成小子集，用于自适应集成分类器。将决策数据应用信息增量设成属性选择依据，把信息增量最大的属性设成根属性，预期信息的计算方法为Info(E)=-Z g lb(g,)式中,隶属类D,的规划业务数据样例ej的概率是qj,规划53(1)i1(2)Microcomputer Applications Vol.39,No.8,2023业务数据集E的嫡是Info(E),Info(E)能够描述样例e;中D；的信息量均值。决策树能够把指定的规划业务数据集E迭代分成子集（E，E2，E），把各个属于相同种类D,中全部规划业务数据样例实施分类。设置E里按照属性B，实现规划业务数据样例ej准确分类的预期信息是Info（E)，运算方法为Imfoa(E)-2 H/TET=1LEI式中，表示第i个分区权值。TEI规划业务数据，将原始信息、新信息需求之间差值设成信息增益Gain(B），本文将其运算方法定为Gain(B)=Info(E)-Infog(E)信息增益的扩展值是收益率SplotInfoB（E)，其能够使用分割信息的模式计算获取，则：SplotlnfoB(E)=-Zi=1E将存在最高增益比GainRatio(B)的属性设成规划业务数据分类属性，GainRatio(B)的运算方法为GainRatio(B)=Gain(B)SplotInfo:(E)将各个规划业务数据的分类任务均设置一个投票器，以此优化决策树算法完成分类。训练样例被设定一个类别值操作程序编码输人信号/V本文系统采集误差/%测试数据a/V本文系统采集误差/%13.00223.49934.00244.50055.00665.50376.00086.49897.002107.503分析表1 可知，本文系统使用数据中台的模式能够自动高精度采集规划业务数据中的电压数据，采集误差范围在土0.3%之内，采集精度较高且稳定。将文献 4的基于大数据云平台的电力能源大数据采集系统、文献 5的基于北斗的同期线损用电信息采集系统与本文所设计系统做模拟测试对比分析，任意选择某用户作为分析目标，以此用户数据模拟测试在用电时延、噪声的影响下3种系统的数据采集效果。（1）时延影响下3种系统数据采集效果在时延影响下3种系统数据采集效果如图4所示。分析图4可知，时延影响下文献 4系统和文献 5系统的数据采集结果与原始数据波形之间存在偏差，文献 4系统、文献 5系统和本文设计系统的数据自动采集结果与原始数据之间的相关系数R值分别为0.8 6 3、0.8 8 7、0.9 9 9，本文设计系统所采集电压数据波形和原始数据波形基本一致，差异极小。可见，时延对本文设计系统的数据自动采集效果基金项目D;，以投票的模式把它变换为分类回归树，以此建立二叉树，再通过此二叉树处理丢失数据。分类回归树能够使用基尼系数Gini(E)的函数获取最优分类点，设置类D,的频率是qi,则基尼系数为Gini(E)=1-,X Info(E,)(3)(4)EX1bTE表1 本文系统自动采集效果0.04502.99380.21744.4883-0.17083.9931-0.11174.49320.06355.0029-0.06355.4997-0.02385.99500.02856.4982-0.01666.9975-0.00237.502154微型电脑应用2 0 2 3年第39 卷第8 期(7)i-12.5自适应集成分类器在完成样例训练、权重训练、决策树归纳算法设计之后，建立的规划业务数据集成分类器处理模型如下error(H,)=a;Xerr(e,)式中，err(e,)为集成分类误差率，为样例初始化权值。通过建立的规划业务数据集成分类器处理模型，实现配电网规划业务数据的自动采集和集中管理。(5)3实验分析3.1数据采集效果分析为了测试本文系统对配电网规划业务数据自动采集精(6)度，以台区规划业务数据中的电压数据自动采集效果为例，将本文系统安装在智能电能表中。本文系统自动采集效果如表1 所示。测试数据b/V本文系统采集误差/%0.24202.99530.27953.4918-0.19933.99290.13084.49210.04385.00120.04345.49860.06805.99530.01686.4987-0.05147.0001-0.00057.5011影响极小。（2）噪声影响下3种系统数据采集效果在噪声影响下3种系统数据采集效果如图5所示。分析图5可知：在没有噪声的正常运行情况下，本文设计系统的数据自动采集结果与原始数据之间的相关系数R值高于文献 4系统和文献 5系统；在噪声引入后，本文设计系统的R值也明显高于文献 4系统和文献 5系统，在噪声环境下，本文系统所采集的电流数据波形与原始数据波形基本一致，而文献 4系统和文献 5系统的偏差较大，主要是由于本文系统采用的样例训练、权重训练、决策树归纳算法，建立了规划业务数据集成分类器处理模型，数据自动采集和分类效果好。可见，本文设计系统在噪声环境下，采集效果影响较小，抗干扰性强。3.2数据分类效果分析测试本文系统在采集配电网规划业务数据中的电压、电流数据时，对多种数据的分类效果，分类效果主要以汉明损(8)J-0.19400.1792-0.2058-0.15330.0776-0.0635-0.06350.0266-0.0139-0.0140Microcomputer Applications Vol.39,No.8,2023J0100t/ms（c）本文设计系统数据采集结果图4时延影响下3种系统数据采集效果15r正常运行V/甲0-1550（a）文献7 系统数据采集结果15r正常运行0R-0.887-1550（b）文献8 系统数据采集结果15r正常运行0R=0.998-1550（c）本文设计系统数据采集结果图5噪声影响下3种系统数据采集效果失、One-error体现。测试结果如图6 所示。汉明损失为错误标签数量与总标签数量之比，汉明损失较小，分类精度较高；One-error指的是数据标签不属于实际标签的数量，此值越小，分类精度越高。以此为依据，分析图6可知，本文系统对配电网规划业务数据分类精度较高，汉明损失、One-error数值均小于0.2，进一步验证了设计系统基金项目280原始数据R-0.86326024022020050（a）文献7 系统数据采集结果280原始数据2602402202000（b）文献8 系统数据采集结果280原始数据260240220200R=0.90150100150200250t/ms噪声引入 R,=-0.865原始数据一-采集数据50100t/ms噪声引入R,=0.996原始数据-采集数据50100150200250t/ms微型电脑应用2 0 2 3年第39 卷第8 期0.5,一汉明损失0.4.One-error0.3采集数据0.250100150200t/msR=0.887采集数据150100150200t/msR=0.999采集数据50150200250噪声引入R,=0.921原始数据一-采集数据1502002502502500.10图6配电网规划业务数据分类效果具有更好的分类性能。4总结本文设计了基于数据中台的配电网规划业务数据自动采集系统，此系统充分利用数据中台的数据资产管理模式，并引人基于数据流概念漂移的自适应集成分类模型，有效实现配电网规划业务数据自动分类。此系统在实验中被验证具有应用价值，建议使用。实验主要得出以下几点结论。（1）本文系统使用数据中台的模式能够高精度采集规划业务数据中的电压数据，采集误差处于士0.3%之内，采集精度较高且稳定。（2）时延、噪声影响下，本文系统所采集电压数据波形和原始数据波形基本一致，差异极小，相关系数R值较高。时延、噪声数据的出现对本文系统的采集效果不存在较大影响。（3）本文系统对配电网规划业务数据分类精度较高，汉明损失、One-error数值均小于0.2。虽然本文所设计系统在实验中被验证具有应用价值，在时延、噪声环境下的影响较小，但是未对其他环境的影响展开更深入分析，在未来的研究工作中，将以此为研究方向，进一步优化其数据自动采集效果。1秦丽文，梁朔，高立克，等.全面数据质量管理框架在配电网领域的应用分析J.电力系统及其自动化学报,2 0 2 0,32(4):6 2-6 8.2 刘光辉，朱婷婷，张慧娥.无线通信网络的电力系统设备远程实时监控系统J.计算技术与自动化，2 0 2 1，40(3):47-51.3芦佳硕，王光华，曹磊，等.基于VR技术的电力系统异常情况巡检系统设计J.计算技术与自动化，2021,40(1):169-173.4李俊楠，李伟，李会君，等.基于大数据云平台的电力能源大数据采集与应用研究J.电测与仪表，2 0 19，56(12):104-109.5王继业，沈亮，王林信，等.基于北斗的同期线损用电信息采集系统设计与实现J.电信科学，2 0 19，35(3):107-115.6 朱晔，姜志博，田浩，等。电网雷电大数据采集系统研发J.高压电器，2 0 19,55（4）：16 0-16 8.7 王顺意，陈非，张远雄，等.基于数据挖掘的电力客户关系管理系统的设计J.微型电脑应用，2 0 2 0，36(12):86-89.（收稿日期：2 0 2 1-11-17)5550100150200250t/ms参考文献