基于反向传播神经网络的电力用户侧数据异常自动检测方法.pdf

Modern Scientific Instruments Vol.40 No.4 Aug.2023 30 基于反向传播神经网络的电力用户侧数据异常自动检测方法 郑立华（南方电网数字电网研究院有限公司，广东省广州市 510000）摘 要 传统反向传播网络数据异常检测方法迭代次数多，过程繁琐导致检测结果出现偏差，为此提出基于反向传播神经网络的电力用户侧数据异常自动检测方法。电力用户侧的数据预处理中，分别对原始数据进行数据清洗、缺失值填补和数据归一化等操作，为后续数据检测提供基础；建立反向传播神经网络的 SVM 分类模型，省略传统模型检测的学习和训练步骤，设计数据异常自动检测流程，结合以往有不良用电记录用户的用电行为，实现电力用户侧数据异常自动检测。实验结果表明，在整体数据和正常数据的检测中，设计方法与传统方法的结果相似，在异常数据的检测中，设计方法检测准确率得到了提高，自动检测性能更好。关键词 反向传播神经网络；异常数据检测；数据预处理；SVM 分类器；分类模型；中图分类号 TM464 文献标识码 A An automatic anomaly detection method for power user data based on back propagation neural network Zheng Lihua（China Southern Power Grid Digital Grid Research Institute Co.,Ltd.Guangzhou,Guangdong 510000）Abstract The traditional back propagation network data anomaly detection method has many iterations,and the complicated process leads to the deviation of the detection results.Therefore,an automatic data anomaly detection method based on back propagation neural network for power users is proposed.In the data preprocessing of power users,the original data are cleaned,the missing values are filled and the data is normalized,which provides the basis for subsequent data detection.The SVM classification model of back propagation neural network is established,the learning and training steps of traditional model detection are omitted,the automatic detection process of data abnormality is designed,and the automatic detection of data abnormality on the power user side is realized by combining the previous bad power consumption records of users.The experimental results show that the design method is similar to the traditional method in the detection of whole data and normal data,and the detection accuracy of the design method is improved and the automatic detection performance is better in the detection of abnormal data.Key words Back propagation neural network;Abnormal data detection;Data preprocessing;SVM classifier;Classification model;智能电网的成熟与发展带动了电网中各个环节数据的极速增长，这也是电力企业在发展大数据信息挖掘过程中的主要数据来源。对于电力行业来说，挖掘大数据背后存在的意义，对提高电力企业效益具有重大意义1-2。在电力企业中，由于电力用户侧数据异常所产生的损失较大，给企业带来一定效益影响，同时对于掌握用户用电情况也存在偏差。因此，为了保证电力企业的效益，检测电力用户侧的数据异常情 收稿日期：2023-05-24 基金项目：南方电网科技项目:科技项目编号：JY-JF-03-SP-21-029-DQ-002 作者简介：郑立华：1992-8-），男，汉，学士，工程师，主要从事电力大数据运营、运维和开发 第 40 卷 第 4 期 2023 年 8 月 郑立华 基于反向传播神经网络的电力用户侧数据异常自动检测方法 31况，成为了电力行业中的常规排查方式之一。针对用户侧数据的异常自动检测，文献3在Spark框架研究了一种异常数据的检测方法，将待检测数据进行检测过程中的初次聚类，此时利用的是并行化流程中的最小生成树对数据进行大致的分类过程，能够初步划分异常数据、待聚类数据和正常数据，在二次聚类过程中，利用 K 均值聚类算法（K-means clustering algorithm，K-means）将上一步骤中的待聚类数据详细划分，在以上两步聚类结果的输出下，能够得到更加详细的异常数据的辨识结果；为了使数据更加完整化，引入 Spark 框架，并在利用神经网络的基础上建立了异常数据修正模型。文献4基于人工神经网络的架空柔性直流电网故障检测方法，该方法利用快速傅里叶变换（Fast Fourier Transform，FFT）变换分析暂态电压的频率特性，得到输入数据；对隐层单元进行大量的离线模拟数据训练，并发出直流断路器的开断指令，实现柔性直流电网故障检测，该方法在实际应用过程中取得了一定的成绩。上述方法建立模型经过学习和训练等过程进行异常识别，步骤繁琐，导致检测结果出现偏差，因此本文设计一种基于反 向 传 播 神 经 网 络（Back Propagation Neural Network，BPNN）的电力用户侧数据异常自动检测方法。所研究的创新点是在反向传播神经网络的基础上，构建支持向量机（Support Vector Machine，SVM）分类模型，使电力用户侧数据异常自动检测效果更加理想。1 基于反向传播神经网络的电力用户侧数据异常自动检测方法 1.1 电力用户侧数据预处理 在电网采集到的电力用户侧数据中，一般都包含了若干字段来对数据进行表述。一些数据异常的用户可能会采用篡改电表等非常规手段将电表上报用电负荷调小，因此电网实际得到的电负荷数据与实际情况相比较小5。在获取到的数据中，一般为工程师在完成数据查验后手动标注，在直接使用标注结果时，电力用户侧异常数据的检测中，原始数据可能会存在数据缺失、重复、错误等情况，因此需要对数据进行预处理。预处理过程中主要分为三个部分，第一部分是数据过滤，原始数据在采集和传输的过程中避免不了存在的噪声，对于一些数据缺失和无效数据需要进行过滤。第二部分是对于数据缺失的空白用户来说，当全年在某时间段内无用电记录，则需要将该数据删除；第三部分是对于数据缺失比例达到 50%以上的用户也需要删除数据6-7。在完成噪声过滤后，还会存在少量的低频率的数据缺失，需要填补这些缺失值，使用拉格朗日插值法进行处理：（1）式中，x 表示待处理数据中的第 x 个残缺或空白数据，yi表示采集到的数据中样本值，xj表示采集到的数据中的平均值，Ln(x)、li(x)表示拉格朗日多项式。在上式的理论指导下，选择缺失数据前后紧密相连的10 项数据组成一个集合，并利用上述进行残缺数据插值，实现缺失数据的填补8-9。在获取到的数据中，将其放置在不同量纲下会对数据产生一定影响，为了消除这些影响，归一化处理数据，计算公式为：（2）式中，L表示原始数据，max(x)表示原始数据在不同维度下的最大值，min(x)表示原始数据在不同维度下的最小值，NL表示归一化后提取出来的特征值，该值可以作为归一化后的数据描述值。在经过以上的数据处理后，就能够提取出相关数据的一些自身特征，例如波形、极值等分析数据的常用参数，并将这些参数作为时序数据中的矢量特征10-12。当从电力用户侧所采集到的数据具有一定的频域特征时，可以将数据自身的功率密度、功率平均数值等作为基本的统计方法，在提取到特征质量后，可以利用线性判别的过程求取到数据的异常检测模型的基础框架，并利用编码器中的隐层单元的激活值构建一个数据预处理的恒等函数，此时的编码器能够实现网络的自身训练与学习。此方法针对电力用户侧的00,1()()()nniiinjijjijL xl x yxxl xxxmin()max()min()LLxNxx Modern Scientific Instruments Vol.40 No.4 Aug.2023 32 无类别标签的特征值近似的等于目标值，保证稀疏性，隐藏神经元的活跃度也会受到限制，此时要利用数据处理的惩罚因子来平衡数据处理过程中的整体代价函数，优点是能够避免处理过程中的训练陷入极值。1.2 建立反向传播神经网络的 SVM 分类模型 为了优化检测过程，本文采用了反向传播神经网络作为检测核心。反向传播神经网络实际上是多个神经元组成的阵列，在该阵列中，各个神经元之间能够实现全互联。当反向传播神经网络处于检测状态时，当外部出现威胁输入，网络内部则会出现一个竞争学习机制，对于复杂的电力用户侧数据进行分类，按照一定的权值完成不同数据之间的关系分配13-14。本文采用反向传播神经网络来建立 SVM 分类模型，对待分类的数据 Vref进行判定，将该数据可以划分到的区域进行整理。反向传播神经网络 SVM 分类器与传统的 SVM 分类器相比，分类的基本原理比较相似，都是利用非零矢量将数据所处于的状态进行分类，确定可分类的总数。但是利用反向神经网络可以对分类过程进行优化，缩减传统 BP 神经网络中的学习和训练过程，减少误差。建立的反向传播神经网络的 SVM分类模型示意图如图 1 所示：图 1 反向传播神经网络的 SVM 分类模型 图 1 中主要是在反向传播神经网络中的输入层上附加一个输入的矢量，记作 U，则能够确定出竞争层的 6 个节点，在模型中与主矢量 Vk距离最近的则为竞争层中的获胜者，距离第二近的为次胜者，标记为 Vk+1，那么可以得到公式：（3）式中，Varef、Vbref、Vcref表示电力用户侧的数据矢量，竞争层的节点 n1-n6表示以上矢量中的线性组合。从以上矩阵中可以看出，n4-n6的系数符号与 n1-n3刚好相反。当得到竞争层的获胜者后，竞争网络选择最大的节点表示为：（4）式中，ni表示竞争网络选择最大的节点；Vref表示相位角。根据系数选择对应的矢量，能够确定矢量的参考范围所在的候选区域，至此完成反向传播神经网络的分类模型的建立。1.3 异常数据自动检测的实现 作为异常数据检测的电力用户，在实现异常数据自动检测的过程中需要利用上一节中所建立的反向传播神经网络的分类模型，结合以往有不良用电记录的用户用电行为，来综合对异常数据自动检测进行实现15。因此在本章中需要设计基于反向传播神经网络的电力用户侧数据异常自动检测流程，如图 2 所示：123456竞争网络查表计算arefUbrefUcrefU1n2n3n4n5n6n1ii1inin1iViV1itit1itit123456111221112211122111221112211122arefbrefcrefnnVnVnVnn11sin221sin(60)312irefnV 第 40 卷 第 4 期 2023 年 8 月 郑立华 基于反向传播神经网络的电力用户侧数据异常自动检测方法 33 图 2 基于反向传播神经网络的 电力用户侧异常数据自动检测流程 本文在检测流程中能够针对不同的实际数据情况来采取不同的检测模式，针对检测过程中初始阶段的数据黑名单用户进行异常检测，在读取完数据后建立一个内部的数据存储空间，使用反向传播神经网络的 SVM 分类器对数据进行分类，最终能够得到不同等级的异常数据和正常数据，由此完成基于反向传播神经网络的电力用户侧数据异常自动检测方法。2 实验分析 2.1 实验数据准备 为了验证本文设计的基于反向船传播经网络的电力用户侧数据异常自动监测方法的有效性，在本章需要设计实验。从我国电网中摘取 10000 个用户在2019 年度中每天的用电量数据。选择的数据格式如表 1 所示：表 1 电网中用户用电部分数据格式 用户号 日期 截止前一天总用电量(kWh)截止当天总用电量(kWh)当天用电量(kWh)120 xxxx54 19/05/12 4365.3 4370.6 5.3 321xxxx56 19/05/12 952.7 963.0 10.3 246xxxx64 19/05/12 1683.4 1688.3 4.9 368xxxx11 19/05/12 4311.2 4319.3 8.1 569xxxx41 19/05/12 3247.5 3260.0 12.5 753xxxx14 19/05/12 973.5 984.8 11.3 661xxxx47 19/05/12 1449.5 1450.2 0.7 续表 1 用户号 日期 截止前一天总用电量(kWh)截止当天总用电量(kWh)当天用电量(kWh)365xxxx7519/05/12316.4 319.0 2.6 328xxxx6519/05/125645.3 5649.9 4.6 953xxxx1419/05/125965.2 5975.4 10.2 523xxxx4519/05/12941.5 947.3 5.8 547xxxx6819/05/124511.0 4514.1 3.1 123xxxx6519/05/12632.5 633.2 0.7 459xxxx2319/05/124848.3 4851.3 3.0 由表 1 可知，选择的用户用电量数据表中包括了用户当天的总用电量和前一天总用电量，并根据这两个数据获取当日用电量，根据表中所提供的时序数据，用户的用电清单中可以标识出用户的用电信息，并根据用户用电的编号来标识异常数据。在获取到原始数据后，为了给异常数据的检测提供一定的便利，还需要对数据进行清洗。数据清洗主要是删除或纠正数据表中可以识别的错误，将数据中结构不一致、无效数据、错误数据、重复数据和缺失数据进行修正补齐。利用获取到的数据集将选择的用户在某天的用电均值，并粗略计算一年的平均用电量情况，曲线图如图 3 所示：图 3 采集到的用户用电全年平均走势 并根据采集的数据，能够得到所有用户在一年中的用电量走势，从图 3 可以看出，用户的用电数据的缺失主要集中在 5 月份，因此在数据清洗过程中需要将 5 月份的用电时序数据片段删除。对原始数据进行观察，发现原始数据中的部分用户在一年中单日用电量为 0，甚至直接出现数据缺失的情况，那么则认定用户数据的信息缺失严重，在数据预处理的过程中会产生干扰，因此需要将这些数据残缺用户的用电数值进行清洗。开始反向传播神经网络的SVM分类模型是否加入二级灰名单生成非二级灰名单用户集合A集合A与黑名单中成员进行相似计算相似值小于簇相似均值生产正常电力用户侧数据列表生成二级灰名单列表生成三级灰名单列表结束YNYN输入经过处理后的数据集输出二级灰名单输出三级灰名单用电量归一化月份/月1234567891000.10.20.30.50.60.70.80.41112 Modern Scientific Instruments Vol.40 No.4 Aug.2023 34 2.2 设计性能评价指标 为了能够将本文设计的数据异常检测方法进行量化，选择 P-R 曲线图作为本文实验中的性能评价指标，即查准率和查全率曲线，该曲线图能够在阈值变化时体现出查准率和查全率的变化情况。查准率和查全率的计算公式为：（5）式中，P 代表查准率，R 代表查全率，TP表示实际结果为异常、检测结果也为异常情况下的数量，FP表示实际结果为正常、检测结果为异常情况下的数量，FN表示实际结果为异常、检测结果为正常情况下的数量。在以上的性能评价指标情况下，分别使用本文设计的基于反向船舶神经网络的电力用户侧数据异常自动检测方法和文献3方法、文献4方法，并对三种方法下得到的结果进行统计和分析。2.3 实验结果对比与分析 在以上的实验环境下，得到的三种检测方法下的P-R 曲线如图 4 所示：图 4 不同检测方法下的 P-R 曲线 从以上图 4 结果进行分析，准确率是一个综合指标，表示检测方法在所有样本上正确分类的比例，从查全率和查准率直接得到检测准确率。该检测准确率能够直观地反映出模型对于不同类别的预测能力，其中检测准确率越高，检测方法的整体性能越好。计算公式为：（6）查准率衡量了检测方法在预测为正例时的准确性，即对正例的判断能力。查全率衡量了模型对于捕捉实际正例的能力，即模型对正例的覆盖程度。分类准确率、查准率和查全率之间存在着一种权衡关系，提高查准率可能会导致查全率下降，反之上升。这是因为检测方法在做出预测时，往往需要在查全率和查准率之间进行权衡。统计三种异常数据检测的检测准确率，如表 2 所示：表 2 三种方法的检测准确率结果对比 对比项目 本文方法（%）文献3方法（%）文献4方法（%）整体 88.32 87.46 86.58 正常用户 96.71 96.03 96.78 异常用户 30.21 22.47 20.93 从以上三种方法的实验结果可以看出，本文设计的检测方法中，整体检测准确率和正常用户的检测准确率与文献3方法、文献4方法相比差别不大，但是对于电力用户侧数据异常检测中，本文设计的自动检测方法与文献3方法、文献4方法相比，分别提高了 7.74%和 9.28%。以上实验结果验证了设计的方法与传统方法相比，在异常数据的检测中性能更好。3 结束语 本文设计的基于反向传播神经网络的电力用户侧数据异常自动检测方法在实验中取得了良好的效果，在异常数据识别准确率中得到了很大程度的提高，能够有效检测出电力用户侧数据的异常情况，对于电力企业来说能够提高自身的稽查能力，增加企业效益。但是由于经验和科研条件的限制，本文设计的数据异常自动检测方法还存在一些不足之处，例如在电力数据的识别中仅仅考虑了单一的聚类情况，在今后的研究中，需要增加动态数据聚类的异常检测，并将本文设计的方法进行优化，不局限于电力用户数据，将来要应用到各方面相关领域的异常数据检测分析。（下转第 42 页）PPPPPNTPTFTRTF1002004080查全率/%20601000604080文献3方法本文方法查准率/%文献4方法 CPRAPRPR Modern Scientific Instruments Vol.40 No.4 Aug.2023 42 特异度与单一检测间无差异（P0.05）。表明血液学指标单一检测对 RA 早期诊断的灵敏度、准确率等效能指标较低,不利于 RA 早期诊断。运用联合检测，可提高对 RA 早期诊断的敏感度及准确度，可弥补单一检测的低敏感度、低准确度等问题，有助于早期 RA的诊断和鉴别诊断12。故笔者认为，在 RA 早期诊断体系中，除了要结合 X 线影像学检查、临床症状等外,还需要多个血液学指标联合检测，来避免临床对 RA早期诊断的误诊和漏诊。综上所述，抗-CCP 抗体、RF、SAA 及 hs-CRP在RA早期患者血清中明显升高,可作为RA早期诊断和病情判断的检测指标，联合检测有助于早期 RA 的诊断和鉴别诊断。参考文献 1 薄娜娜,刘丹丹,张蓓,等.抗氨基甲酰化蛋白抗体联合抗环瓜氨酸 肽 抗 体 诊 断 类 风 湿 关 节 炎 的 价 值 J.江 苏 医 药,2022,48(9):879-882,2 郑美荣,李春鸿,余丽梅,等.抗环瓜氨酸肽抗体、类风湿因子与RA 活 动 度 的 相 关 性 研 究 J.中 国 卫 生 标 准 管 理,2021,12(18):81-84.3 中华医学会风湿病学分会.2018 中国类风湿关节炎诊疗指南J.中华内科杂志,2018,57(4):242-251.4 吕志文,骆跃兴,涂其弓,等.类风湿关节炎患者血清 SAA、抗CCP 抗体与中医辨证分型的关系J.辽宁中医杂志,2022,49(9):98-101.5 马婉珍.抗 CCP 抗体、抗 MCV 抗体和类风湿因子在早期类风湿关节炎中的诊断价值J.吉林医学,2020,41(9):2124-2126.6 王龙龙,白敏,张健.血清标志物在类风湿关节炎早期诊断中的临床价值J.中国骨质疏松杂志,2021,27(5):709-712,746.7 张格艳,朱超超.抗-CCP 联合 AKA 检测在类风湿关节炎早期诊断中的价值J.临床医学研究与实践,2021,6(16):128-130.8 刘奕池,王少华.抗核抗体,抗 CCP 抗体和 RF 联合检查对类风湿关节炎诊断价值研究J.贵州医药,2022,46(8):1223-1224.9 潘昉.血清淀粉样蛋白 A 与类风湿关节炎疾病活动度的关系探讨J.健康必读,2020,(22):29.10 田阳.高敏 C 反应蛋白、类风湿因子、血沉联合检测在诊断类风湿关节炎中的效果J.医学信息,2022,35(z1):129-130.11 吴义忠,李海军,蹇国,等.血液学指标联合检测在类风湿关节炎诊断中的应用J.实用检验医师杂志,2021,13(1):49-52.12 贺松敏.抗链 O,CCP 抗体、RF 和 CRP 联合检测在早期诊断类风湿关节炎中的作用分析J.智慧健康,2022,8(9):13-15.上接第 34 页 参考文献 1 李达,王栋,周冬旭.基于双链结构的配电自动化系统异常检测方法J.计算机应用,2022,42(1):184-190.2 吉斌,孙绘,昌力,等.黏性电力用户参与需求侧响应的行为决策建模与分析J.华电技术,2022,44(2):80-88.3 曲朝阳,朱润泽,曲楠,等.基于 Spark 框架的电网运行异常数据辨识与修正方法J.科学技术与工程,2019,19(25):211-219.4 杨赛昭,向往,张峻榤,等.基于人工神经网络的架空柔性直流电网 故 障检 测方法 J.中 国 电 机工 程 学报,2019,39(15):4416-4430.5 张伟成,卫红权,刘树新,等.面向5GMEC基于行为的用户异常检测方案J.计算机工程,2022,48(5):27-34.6 颜远海.电力物联网用户侧数据深度挖掘方法研究J.吉林大学学报:信息科学版,2022,40(2):269-274.7 唐毅,祁甘露,池坤鹏,等.基于三维时空特性数据融合的电力物联网用户侧负荷识别方法研究J.山东师范大学学报（自然科学版）,2022,37(2):120-127.8 户艳琴,邬小可,李海明,等.面向能源互联网终端用户的异常数据检测方法J.电力建设,2021,42(10):19-27.9 刘涛,李英俊,邢峰,等.基于多变量自动回归的电力大数据异常值检测平台设计J.自动化技术与应用,2022,41(10):93-96.10 粟世玮,吉雅鑫,邹宇,等.考虑负荷精细化的虚拟电厂优化调度J.计算机仿真,2022,39(2):56-61.11 王建元,张少锋.基于线性判别分析和密度峰值聚类的异常用电模式检测J.电力系统自动化,2022,46(5):87-95.12 黄锦增,乡立,段炼.用于电力数据管理分析的负荷预测与异常检测J.信息技术,2021(1):115-120.13 张哲敏,李琪林,严平,等.基于 CFSFDP 算法的边缘电力数据异常检测J.四川电力技术,2021,44(4):6-10.14 黄昌达,赵鑫.基于凝聚层次聚类的电力用户服务方法J.电力需求侧管理,2023,25(2):112-116.15 王炼,梁薇.基于深度挖掘的电力用户异常用电行为自动检测系统J.电子设计工程,2022,30(16):112-115,120.