基于电力大数据的用户侧数据异常检测方法研究.pdf

结果评估Microcomputer Applications Vol.39,No.11,2023文章编号：10 0 7-7 57 X(2023)11-0229-03摘要：针对现有电力大数据的异常检测方法存在的准确度低、检测效率慢等问题，在数据挖掘的基础上，提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。从全局和局部两个方面对电力大数据进行异常检测，提高了电力大数据检测的优越性。为了验证该方法检测结果的优越性，通过仿真对该方法进行对比分析。结果表明，与传统的异常检测方法相比，该方法具有更高的检测效率，能够更准确地检测出用户侧电力数据异常值。关键词：电力大数据；异常检测；数据挖掘；孤立森林算法；局部离群因子算法中图分类号：TM391.5Research on Anomaly Detection Method of User Side Data(Shenzhen Power Supply Company,Shenzhen 518000,China)Abstract:Aiming at the problems of low accuracy and slow detection efficiency in the existing anomaly detection methods ofpower big data,on the basis of data mining,an anomaly detection method for power big data is proposed,by combining isola-ted forest algorithm and local outlier factor algorithm.Anomaly detection of power consumption data is carried out from bothglobal and local aspects,which improves the superiority of anomaly detection of power consumption data.In order to verify thesuperiority of the detection results of this method,this method is compared and analyzed by simulation.The results show thatcompared with the traditional anomaly detection method,this method has higher detection efficiency and can detect the abnor-mal value of power data on the user side more accurately.Key words:power big data;anomaly detection;data mining;isolated forest algorithm;local outlier factor algorithm0引言随着电网越来越智能化，数据量不断增长，数据类型越来越多样化，对数据处理和价值挖掘提出了越来越高的要求。在电力大数据中，用户侧电力数据占很大比例，反映了用户的实际用电需求，及时发现异常情况可以避免故障的发生。因此，研究电力大数据的异常检测方法对电网的发展和进步具有十分重要的意义2 。查阅相关文献可以看出，现有异常检测方法主要有基于分类的检测方法、基于聚类的检测方法等 3-5。但是，现有方法存在效率低、耗时长、判断不准确等问题 6 。基于此，本文提出一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法，从全局和局部2 个方面对电力大数据进行异常检测，提高电力大数据检测的优越性。1数据挖掘概述对电力大数据进行挖掘，可以提取出在战略决策、故障检测、降低运营成本、促进电力企业长远发展等方面起着关键作用的数据7。数据挖掘由提出具体问题、数据预处理、数据挖掘、结果评价等组成。结构如图1所示。作者简介：李厚恩（1990 一），男，本科，工程师，研究方向为信息技术。技术交流基于电力大数据的用户侧数据异常检测方法研究李厚恩（深圳供电局有限公司，广东，深圳518 0 0 0）文献标志码：ABased on Power Big DataLI Houen2异常检测方法2.1孤立森林孤立森林（IF）算法是适用于连续数据的无监督异常检测方法8。在孤立森林中，采用递归方法对数据集进行随机划分。检测由训练阶段和测试阶段2 个阶段组成。训练阶段通过训练集构造孤立树，形成孤立森林；测试阶段是将样本点引人孤立树中，得到每个测试样本的异常得分。具体流程如下。步骤1给出一个数据集X=i，2，,)（a EX,i=（a ii，a i2，,c a）,随机选择样本点，形成数据集X的子集X。步骤2 从数据集k维中随机选择维度q，在允许范围内随机设置切点p,minai,j=q,tuEX)pmax(aj，j=q,dEX)。229.微型电脑应用2 0 2 3 年第3 9 卷第11期数据数据选库敢写集成图1数据挖掘结构预处理数据数据挖掘Microcomputer Applications Vol.39,No.11,2023步骤3 通过切点划分形成超平面，维度大于p点放人右分支上，维度小于力点放人左分支上。步骤4是否继续分割，如继续分割，转到步骤2，否则执行下一步。步骤5重复步骤1至步骤4，直到生成t棵孤立树。(2）测试阶段对于每个数据点i,遍历所有孤立树(iTree),计算平均高度h(.），对h()进行归一化。最后，根据式（1)计算每个测试样本的异常得分。(1)式中,C(n)为给定样本数n的平均路径长度,E(h()为样本在孤立树中的期望路径长度,S(,n)为样本的特征分数。孤立森林算法虽然不进行距离、密度等指标计算，大大加快了运算速度，但其无法检测局部用电异常，因此本文提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。2.2局部离群因子局部离群因子（LOF)算法是有代表性的基于密度的离群点检测方法 10 1，其主要思想是为每个数据点分配离群因子LOF（o），并通过离群因子的大小确定样本数据是否异常。算法步骤如下。步骤1输入数据集D,指定k值和尚未遍历的点0。步骤2 根据式(2)计算点o到点p的第k可达距离。reach_ds(o,p)=max(d(o),d(o,p)（2)式中,reach_ds（o,p)为点o到点p的第k可达距离，d(o,p)为点o和点p之间的距离，d（o)为点o的第k距离。步骤3 根据式（3)计算点o的局部可达密度（o）。p:(o)=reach_de(o,p)/N:(o)PENk(O)式中，p（o)为平均可达距离的倒数（第k邻域内的点到点o）。如果该点o位于簇中，则该点o位于点p的k距离邻域中的概率较大。步骤4根据式(4)计算点o的局部离群因子LOF(o)12)。LOF:(o)=(4)N.(o)将计算出的LOF（o)值按降序排列,前n个放置的数据样本点即为异常点。2.3用电数据异常检测基于孤立森林和局部离群因子算法的电力数据异常检测思想是利用主成分分析对某一类电力用户的用电数据特征集进行降维，通过孤立森林过滤掉用电数据中的全部异常后的剩余数据作为局部离群因子算法的输入，以获得更精确的异常点 13 。本文用电数据异常检测方法的主要步骤如下。步骤1利用模糊C-均值对电力用户用电数据进行特征分类，并采用主成分分析法进行降维。步骤2 初始化孤立森林算法参数，通过孤立森林算法进行全局异常值检测。步骤3 通过孤立森林过滤掉用电数据中的全局异常后，使用局部异常因子算法进行二次异常检测，识别局部异常并获得用户离群度排序。图2 为异常检测方法的流程图。技术交流某一类用户用电数据特征集中通过主成分分析进行特征降维孤立森林算法参数初始化异常得分是否满足阈值是局部离群因子算法初始化支离群因子是否满足阈值是用户离群度排序结束图2 异常检测方法流程3仿真结果与分析3.1仿真参数为了验证本文方法的性能进行仿真实验，仿真设备为联想PC,操作系统为Windows1064位旗舰版，Inteli52450mCPU,频率2.5GHz,8GB内存,Python3.7环境 14。本文采用某地区3 2 3 4个用户半年的电力负荷数据进行采样，采样间隔为15min，每天9 6 点。1通过聚类得到四类用户。第一种有117 9个用户，全天(3)的用电都相对较低；第二类有7 3 7 个用户，在夜间处于用电高峰；第三类有52 9 个用户，是典型的双峰用户；第四类有741个用户，从上午9点和10 点以及下午3 点和4点，耗电量处于较高状态，而在晚上则很低。孤立树的数量设置为100，最佳样本数量设置为8 0，最近邻数量设置为150。异常数据如表1所示。(p)表1不同类别异常数据PEN;(O)类别正常用户数异常用户数3.2结果与分析以ROC曲线、P-R为指标，将本文所提方法与孤立森林算法和k-means算法进行比较，验证本文方法在异常用电数据检测中的可行性。图3 为不同类别在不同检测方法下的ROC曲线和相应的AUC值。如图3 可以看出，本文方法在异常用电数据检测中的AUC值大于0.9 0 高于IF算法和k-means算法，IF算法的AUC值高于k-means算法的AUC值。表2 为不同类别中不同检测方法的P值、R值和AP。从表2 可以看出，本文方法的P值、R值和AP均高于IF算法和k-means算法。因此，本文方法比IF算法和k-means算法更适合于离群点较少的电力数据异常检测,验证了本文方法在异常用电数据检测中具有优越性和适用性。.230.微型电脑应用2 0 2 3 年第3 9 卷第11期开始否否正常电力用户类别1类别21170724913类别35245类别472417Microcomputer Applications Vol.39,No.11,2023图3 不同类别不同方法的ROC曲线表2不同类别不同检测方法的P-R指标检测方法IF算法k-means算法类别1的P值0.48类别1的R值0.43类别1的AP0.84类别2 的P值0.49类别2 的R值0.63类别 2 的 AP0.85类别3 的P值0.45类别3 的R值0.63类别3 的AP0.82类别4的P值0.51类别4的R值0.54类别4的AP0.83技术交流1.0r4总结0.8-0.6F/本时0.40.2（a）类别1不同方法ROC曲线1.010.811110.2.00.2（b）类别2 不同方法ROC曲线1.0r0.8F0.20（c）类别3 不同方法ROC曲线1.0！0.8一！11.一0.200.2(d）类别4不同方法ROC曲线0.410.440.710.430.410.650.400.410.680.440.470.73微型电脑应用2 0 2 3 年第3 9 卷第11期本文提出了一种将IF算法和LOF算法相结合的电力大数据异常检测方法，从全局和局部2 个方面对用电数据进行异常检测。结果表明，与IF算法和k-means算法相比，本-IF(AUC-0.86)k-means(AUC-0.75)本文方法(AUC=0.96)0.20.40.60.8假阳率/%-IF(AUC=0.84)k-means(AUC-0.70)本文方法(AUC-0.91)0.40.6假阳率/%.11！0.2文方法在ROC曲线、P-R指标上具有更高的效率和准确性。由于受当前实验室硬件和数据规模的影响，本文研究还处于1.0起步阶段，仅检测了少量数据的异常。基于此，后期将对大量用电数据进行异常检测和分析，不断提高检测方法的性能和适应性。1余翔，陈国洪，李霆，等.基于孤立森林算法的用电数据异常检测研究 J.信息技术，2 0 18，42（12）：8 8-92.2陆春光，叶方彬，赵羚，等.基于密度峰值聚类的电力大数据异常值检测算法 J.科学技术与工程，2 0 2 0，20(2);654-658.0.81.0-IF(AUC=0.88).k-means(AUC-0.65)本文方法(AUC=0.94)0.40.6假阳率/%-IF(AUC=0.86)k-means(AUC-0.74)本文方法(AUC-0.95)0.40.6假阳率/%参考文献3 石莹，罗峰，胡佳，等.基于云计算的电力运行大数据异常值快速检测算法J1.电子设计工程，2 0 2 0，2 8(18):43-46.4刘凤魁，邓春宇，王晓蓉，等.基于改进快速密度峰值聚类算法的电力大数据异常值检测 J.电力信息与通信技术，2 0 17,15(6)：3 6-41.5朱奇，郭江，曾兵，等.基于层次分析法的输电线路防山火预警评估模型J.电测与仪表，2 0 18，55（6）：71-75.0.81.00.81.06 常安，宋云海，张晗，等.考虑参量有效性的输电线路状态评估方法研究及应用J.高压电器，2 0 17，53(6):72-78.7叶波.基于负载均衡度的云计算任务调度算法 J.东北电力大学学报，2 0 19,3 9（1）：8 8-958 王安斯，罗毅，涂光瑜，等.基于事故链风险指标的输电脆弱度在线评估方法J.中国电机工程学报，2010,30(25):44-50.9钟潇柔.基于动态遗传算法的云计算任务节能调度策略研究 D.哈尔滨：哈尔滨工业大学，2 0 15.10刘坤，赵丽萍，李建萍，等.考虑开关状态集调整的含光伏并网配电网动态故障恢复方法.电力系统保护与控制,2 0 2 1,49(1)：2 4-3 1.11杨丽君，高鹏，王伟浩，等.考虑时间尺度的配电网故障恢复方法研究J.太阳能学报，2 0 2 1，42（1)：本文方法453-459.0.6812HOU K Y,SHAO G H,WANG H M,et al.Research0.99on Practical Power System Stability Analysis Algo-0.98rithm Based on Modified SVMJ.Protection and0.58Control of Modern Power Systems,2018,3(1):1-7.0.9713吕丁.基于k-means聚类算法的学生表现数据分析及0.96预测建模研究J.微型电脑应用，2 0 2 1，3 7（5）：0.550.970.930.590.950.94148-150.14张涛，张东方，王凌云，等.基于改进小生境粒子群算法的主动配电网优化重构 J.信阳师范学院学报（自然科学版）,2 0 18,3 1（3）：47 3-47 8.（收稿日期：2 0 2 2-0 3-0 2）231.