基于改进FCM的多源异构能源数据预处理与去噪.pdf

Microcomputer Applications Vol.39,No.10,2023文章编号：10 0 7-7 57 X（2 0 2 3)10-0 0 8 0-0 3基于改进FCM的多源异构能源数据预处理与去噪李坚，杨峰，吴佳，李平舟，陈乐然，付金凤（国网冀北电力有限公司，北京10 0 0 52；北京博望华科科技有限公司，北京10 0 0 45）摘要：为了提升电力调控系统中能源数据精度和融合效果，提出构建参数估计优化模型。在进行参数寻优处理后，基于改进混沌算法（GGA)和马尔科夫蒙特卡罗算法（MCMC)分别对电力调度系统中的缺失数据进行填补和估计，以提升后续参数处理准确性；利用基于模糊聚类的FCM算法，提出基于改进FCM的数据去噪方法，减少多源异构能源数据中的噪声等干扰信息，以提升后续数据融合效果；通过实验验证提出算法的有效性。实验结果表明，提出的算法检出率为94.51%，数据融合效果较好，稳定性强，对于不确定的数据具有较好的融合效果。关键词：多源异构；FCM算法；数据融合；填补处理中图分类号：TP392研究与设计文献标志码：A微型电脑应用2 0 2 3年第39 卷第10 期Multi-source Heterogeneous Energy Data Preprocessing and DenoisingBased on Improved FCMLI Jian,YANG Feng,WU Jia,LI Pingzhou,CHEN Leran,FU Jinfeng(State Grid Jibei Electric Power Co.,Ltd.,Beijing 100052,China;Beijing Bowang China Science and Technology Co.,Ltd.,Beijing 100045,China)Abstract:In order to improve the energy data accuracy and fusion effect in the power control system,a parameter estimationoptimization model is proposed for parameter optimization.It can fill and estimate the missing data in the power dispatchingsystem based on improved chaos algorithm(GGA)and Markovian Monte Carlo algorithm(MCMC),and improve the FCM al-gorithm of FCM to reduce the noise interference information in multi-source heterogeneous energy data.It can improve the ef-fectiveness of the following data fusion;the algorithm is proposed through experimental verification.The experimental resultsshow that the detection rate of the proposed algorithm is 94.51%,has good data fusion effect and strong stability,and has agood fusion effect for uncertain data.Key words:multi-source heterogeneity;FCM algorithm;data fusion;filling processing0引言电力调度系统中存在大量多源异构数据，其数据来源复杂且过于分散，导致数据共享度低、数据集成和融合性较差，无法对整体数据进行调控。同时，在电力调度控制系统进行数据采集时，受到环境、噪声等外部因素的干扰，使得数据出现缺失，严重影响后期调度效果。因此，对多源异构数据进行缺失填补，往往是保证电力正常运行的基本要求。陈娜等1采用跨模态聚合算法对该系统中的多源异构数据进行缺失数据填补，此方法只针对单一数据进行处理，但整体性较弱；张人上等2 基于改进混沌系统的加密算法对通信中的多源异构数据进行扩频，在一定程度上提升了数据融合效果；王维嘉等31提出了FCM算法和MCMC算法等多种数据处理算法，然后利用多目标优化方法对多源异构数据进行识别和最优目标提取，以此完成多源数据的分类。但多源异构作者简介：李坚（198 7 一），男，硕士，研究方向为信息安全；杨峰（197 6 一）,男，硕士，研究方向为计算机科学与技术；吴佳（198 5一），女，硕士，研究方向为电气工程及其自动化；李平舟（198 4一），男，本科，研究方向为计算机应用；陈乐然（198 7 一），男，硕士，研究方向为计算机科学与技术；付金凤（198 7 1一），女，本科，研究方向为计算机应用。数据缺失仍是影响异构数据预处理的难题，且FCM算法本身也存在问题。因此，本研究尝试对缺失数据进行估计，通过FCM算法对数据进行去噪，以更好地实现多源异构数据的快速收敛，提升多源异构数据全局调控能力。1多源异构能源数据预处理1.1缺失数据填补由于多源异构数据缺失严重影响了数据的完整性和稳定性，不利于后续关键数据的分析利用，因此，分别采用改进的混沌遗传算法（CGA)和马尔科夫蒙特卡罗（MCMC)算法估计多源异构数据中不完整数据集参数和缺失数据，加快更新速度，实现快速收敛，并提高参数估计精度，减小误差4。1.1.1数据参数估计（1）优化估计参数模型若多源异构缺失数据集Y中含有k个属性，且Y=80.Microcomputer Applications Vol.39,No.10,2023（Yo b s，Ym i s）；参数=（,Z）为不确定参数，、分别表示数据集Y的均值向量和协方差矩阵。为更好地估计数据集参数，将采用极大似然估计算法和正态分别规律特性，构建包括和的对数似然函数5：2(2,-u)式(1)中，=（2）表示均值向量，为隶属数据各属性的均值,=（oj）为属性（X1，X2，,X）的协方差矩阵，表示数据各属性间的相关性，、初始值取决于数据集Yom6，a；为数据记录i（i=1,2，,n）对应属性的向量，缺失值数据用估计相应均值取代，n表示数据记录个数。在估计数据集参数过程中，f（）的函数值越大,所估计的参数越准确7。基于此，可对估计函数值进行优化处理，确定缺失数据的目标函数，具体表示为maxf(s)式(2)中,参数的适应函数为f（）,其迭代过程中寻优概率取决于参数适应函数大小8。（2）参数选代寻优在参数种群中，可能存在大量的参数，通常选用遗传算法对参数进化寻优，但此方法存在局部最优问题，无法满足全局优化需求。为解决此问题，通过CGA算法加快收敛，进行混沌干扰操作，以快速找出最优解，实现全局最优。若最优参数适应度值为fm，优秀参数*中的均值向量为=（，a，a 送），通过式（3）对a进行混沌扰动，从而取得：a=+gij=1,2,k式（3)中，ai表示进行混沌扰动后所取值，表示调节次数，t表示选代次数,两者间的关系可表示为=1-（一)，具备随机性，其取值通常为1或一1。进行i次迭代循环后，得到最优目标函数值为f，若该值结果达到式（4)标准，即可结束迭代计算，If-f-iI r 时表明此样本点是噪声点并进行删除，d（a，u,）r 时则保留此样本。针对聚类中心个数k的取值，通常采用肘部法则（ElbowMethod)进行表示。k与代价函数呈反比关系，代价函数随着k的增大而不断减小。两者的关系如图2 所示。(5)(8)Microcomputer Applications Vol.39,No.10,2023根据以上改进，得到改进后的FCM步骤如图3所示。开始输入原始数For K=Kmin:KmaxKKmax是循环运行FCM聚类根据去噪原理找到并标记噪声数据K-k+1图3去噪算法流程当FCM进行计算时，数据量的增加可能增加计算量，使得计算过程更为复杂，为简化计算步骤，可对数据进行预处理。具体方法为通过K-均值聚类分割数据，并将其作为算法的初始聚类中心，从而实现快速收敛，送代数和计算量减少，进一步提升实时性。3实验验证与分析3.1数据填补实验3.1.1实验环境和数据来源为验证以上方案，在MATLAB和SAS环境下进行仿真实验，从配网调控系统数据库中选择多源异构数据报表作为实验数据。配网调控系统数据采集时存在大量干扰信息，导致数据缺失严重，采用本文填补方法对缺失数据进行填补。3.1.2实验对比结果为验证提出的 CGA数据填补方法的有效性，将 CGA填补方法与最大期望算法（EM)和遗传算法（GA)进行对比实验，得到3种算法的参数估计过程如图4所示。-449.55一EM算法449.60GA算法449.65CGA算法-449.70-449.75益-449.80449.85-449.900图43种算法参数估计过程从图4可以看出，3种算法迭代在15时取得了目标函数，但CGA算法的目标函数最大，且提出的算法迭代次数更快，送代至37 时实现最优解，而EM算法和GA算法在12 0和8 0 时才达到最优，由此说明本算法性能更为优越。研究与设计为进一步验证CGA算法对参数估计的准确性，将3种算法估计的绝对误差和相对误差进行对比，得到估计过程如图5所示。10F8601234567聚类中心个数K图2 肘部法则否停止运行FCM聚类依据去噪效果和时间复杂度，选取最佳聚类数下的去噪效果结束2040算法进化代数微型电脑应用2 0 2 3年第39 卷第10 期EM算法GA算法+本文算法42012345 6789算法进化代数图53种算法参数估计误差曲线由图5可知，3种算法中，本文算法的误差最小，GA算法的误差最大，EM算法的误差位居第二。由此说明，本文算法对多源异构数据的估计准确率更高，明显优于另外2 种算法。以上述多源异构缺失数据为实验参数，将本文算法与EM算法和GA算法进行估计正确性对比,得到对比结果如图6 所示。1210F86420123456578910缺失数据的序号图6 3种算法所得估计值误差曲线从图6 可以看出，本文算法的误差值均低于另外2 种算法，特别在缺失数据5、6 和8 处的误差最大，说明采用本算法能够完成对估计值误差进行精准估计。为了验证本算法在缺失率为10%、2 0%和30%下的性能，将其与EM算法和GA算法的均方根误差进行对比，结果如表1所示。表13种缺失率下3种算法的填充数据精度对比缺失密度/%EM算法105.68205.73306.07从表1可以看出，在不同的缺失率下，本文算法的估计缺失值误差依旧为最小，均优于另外2 种算法，说明本算法对多源异构数据处理具有一定的有效性和稳定性。3.2数据去噪验证3.2.1实验数据和参数设置同样选择电力调控系统中的7 0 0 条数据进行验证，其中正常数据50 0 条、异常数据2 0 0 条，异常数据中的噪声数据6080100120EM算法GA算法+本文算法填充数据精度GA算法5.325.146.1130条。数据集中的kmin=10，k m a x=30。3.3.2实验结果与分析为验证改进的FCM算法的优越性，将该算法与经典FCM算法、K-均值算法和自组织映射算法（SOM)进行检出率和运行时间对比，结果如表2、图7 所示。(下转第8 7 页)82本文算法2.173.453.36Microcomputer Applications Vol.39,No.10,20236 杨时光.地铁工程项目经营管理案例分析J.企业改革与管理，2 0 2 0（17）：55-56.7 卢毅，地铁工程项目的计划与控制J.建筑机械，2019(2):33-35.8 徐梅琳.守护地铁建设把握城市脉搏：地铁工程项目档案管理探究J.城建档案，2 0 2 0（7）：37-39.9茹晓峰.地铁工程项目经济现状及对策J.建筑科技,2 0 19,3(1)：44-47.10郑雅荣.浅析地铁工程项目成本管理问题与对策J.纳税,2 0 2 0,14(10)：17 4-17 5.11武宗天.BIM技术在地铁工程项目精细化管理中的应用研究J.中国集体经济，2 0 19（36）：95-96.12柳领领.浅谈地铁工程项目施工物资设备管理J.现代商业，2 0 19(10)：114-115.13郭海静.地铁工程项目施工过程中的物资设备管理措施J.城市住宅，2 0 19,2 6（8）：18 3-18 4.14DE SOUSA C A,PEREIRA S L,DIAS E M.Im-provement of the Energy Efficiency of Subway Trac-tion Systems Through the Use of Genetic Algorithmin Traffic ControlJJ.Journal of Control,Automa-tion and Electrical Systems,2019,30(1):85-94.(上接第8 2 页）表2 BCW数据集上的运行时间算法10改进算法0.08经典FCM0.09运行时间K-均值0.12SOM0.4596r改进算法经典FCM92F+K-均值SOM18:000-0-00-0-00-088OO84F8010121141618202224262830聚类中心数图7 BCW数据集检出率对比综合表2 和图7 得出，在聚类中心为30 时，改进FCM算法的检出均高于另外3种算法，最高为9 4.51%，且运行时间均低于其他算法，说明改进的FCM算法具有较好的去噪效果，算法性能更佳。4总结综上，本文提出的数据融合方法具备可行性和有效性，可实现对多源异构数据的有效处理，数据可靠性和稳定性显著提升，且采用的改进FCM去噪算法和CGA和CMCM填补方法均能取得较好的数据处理效果。实验结果表明：本文提出的缺失值数据填补方法对多源异构数据的填补效果较好，参数估计误差较小；改进的FCM算法在BCW数据集中研究与设计151HU J X,XIE L Y,LIUL X,et al.Structural SafetyEvaluation of a Subway Bolster Based on NumericalSimulation and Experimental TestJ.Journal of theBrazilian Society of Mechanical Sciences and Engineer-ing,2019,41(1).163张青立，易家昌.工程项目管理进展地铁图方法研究J.城市建筑，2 0 19,16(2 0)：18 9-19 0.17唐曦，江紫薇，孙斐然.拓展地铁线路地图专题服务的增强信息设计与实践J.测绘地理信息，2 0 2 1，46(1):38-43.18WANG N,DU X L,ZHANG M J,et al.An Im-proved Weighted Fuzzy CREAM Model for Quantif-ying Human Reliability in Subway Construction:Modeling,Validation,and ApplicationJJ.HumanFactors and Ergonomics in Manufacturing&ServiceIndustries,2020,30(4):248-265.19NAZIHAA,FU L,MOHAMED ELAMINEG,etal.A Method to Construct an Indoor Air PollutionMonitoring System Based on a Wireless Sensor Net-workJJ.Sensors,2019,19(4):967.（收稿日期：2 0 2 1-0 9-16）的检出率最高为94.51%，算法性能优越。综上，以上方法可实现多源异构数据的有效处理。15200.070.090.080.140.090.150.540.68微型电脑应用2 0 2 3年第39 卷第10 期25300.080.140.220.190.170.160.830.6287参考文献1陈娜，刘海姣，李今宋，等。配电终端多源异构数据的跨模态聚合算法J.控制与信息技术，2 0 2 1（4)：1-7.2 15张人上，邱久睿.基于混沌系统的扩频通信多源异构数据加密算法J.火力与指挥控制，2 0 2 1，46（8）：162-166.3王维嘉，孙亚运，孙洪亮，等.基于多目标优化技术的多源异构数据分类研究J.计算机与数字工程，2020,48(1):130-136.4刘志鹏，胡亚琦，张卫卫.自适应细菌觅食的FCM聚类优化算法研究J.现代电子技术，2 0 2 0，43（6）：144-148.5王罡，刘敬文，李国鹏，等.基于多源异构数据融合的综合管廊电力舱系统保护J.电力系统保护与控制，2021,49(7):103-109.6 李蛟，胡黄水，赵宏伟，等.基于混沌遗传算法的无线传感器网络改进LEACH算法LJI.吉林大学学报（理学版），2 0 2 1，59（4）：950-955.7王志远，龙呈，常晓青，等.基于FCM聚类的随机子空间低频振荡模态识别算法J.电力系统及其自动化学报,2 0 2 0,32（4）：6 9-7 5.8常雪，石鸿雁.基于改进蝙蝠算法优化的FCM聚类算法J.计算机与现代化，2 0 2 0（5）：2 9-33.9林林女贵，吴元林.基于改进K-means的大数据清洗方法J.微型电脑应用，2 0 2 1，37（11）：133-136.（收稿日期：2 0 2 2-0 2-2 5）