基于知识蒸馏与RP-MobileNetV3的电能质量复合扰动识别.pdf

针对复合电能质量扰动(power quality disturbance,PQD)识别中特征提取复杂、识别正确率低和模型难以轻量化等问题，提出一种利用递归图(recurrence plot,RP)对 PQD 信号可视化方法和基于知识蒸馏的模型训练方法。首先，基于RP 挖掘PQD 信号隐含特征并构建图像数据集，并利用深度残差收缩网络(deep residual shrinkage network,DRSN)对图像数据集进行更深层次特征提取并完成自主分类。然后，基于知识蒸馏(knowledge distillation,KD)让已训练的 DRSN 指导轻量化网络 MobileNetV3 进行训练，通过蒸馏实现知识的跨网络传输。最后，仿真实验和硬件实验表明，利用知识蒸馏训练的 MobileNetV3 能实现高精度且轻量化的复合扰动识别，同时在 30 dB 噪声环境下正确率能提升 1.06%，对实际扰动信号识别效果良好，具有良好的噪声鲁棒性。关键词：电能质量扰动；递归图；图像；深度残差收缩网络；知识蒸馏；MobileNetV3 Power quality compound disturbance identification based on knowledge distillation and RP-MobilenetV3 HE Caijun,LI Kaicheng,DONG Yufei,SONG Zhaoxia,XIAO Xiangui,LI Beiao,LI Xuan(School of Electrical and Electronic Engineering,Huazhong University of Science and Technology,Wuhan 430074,China)Abstract:To solve the problems of complex feature extraction,low recognition accuracy and model weight reduction in the recognition of complex power quality disturbance(PQD),a method of PQD signal visualization using recurrence plot(RP)and a model training method based on knowledge distillation are proposed.This method first mines the hidden features of PQD signals based on RP and builds image data sets.It then uses a deep residual shrinkage network(DRSN)to extract deeper features of image data sets and complete classification.Finally,based on knowledge distillation(KD),it lets the trained DRSN guide the training of the lightweight network MobilenetV3,and realizes cross network transmission of knowledge through distillation.The simulation experiment and hardware experiment show that MobileNetV3 trained by knowledge distillation can achieve high-precision and lightweight composite disturbance recognition,and the accuracy can be improved by 1.06%in a 30 dB noise environment.It has good recognition effect on actual disturbance signals and good noise robustness.This work is supported by the National Natural Science Foundation of China(No.522077089).Key words:power quality disturbances;recurrence plot;image;deep residual shrinkage network;knowledge distillation;MobileNetV3 0 引言 在“碳达峰、碳中和”和“构建以新能源为主体的新型电力系统”目标驱动下，风电、光伏等分布式可再生能源大规模并网给电网带来了更严重的电能质量问题1-3。一方面，分布式可再生能源具有显著的随机性、间歇性和波动性，其在并入配电网 基金项目：国家自然科学基金项目资助(522077089)运行时会导致电源的输出具有不确定性，从而引起(诸如振荡、电压波动等)电能质量扰动4。另一方面，分布式可再生能源并网引入了大量的电力电子设备，新型电力系统中非线性负载以及智能控制设备也同步增多，导致了大量谐波等暂态电能质量扰动问题5。在各种干扰源的共同作用下，电力系统中的电能质量复合扰动问题已屡见不鲜，不仅缩短敏感性设备寿命、造成电磁干扰，甚至引发停电事故，严重危害电网的经济、安全和稳定运行6-7。因此，-76-电力系统保护与控制电力系统保护与控制 准确且快速识别不同噪声水平下电能质量扰动类型，对电能质量问题的治理和故障诊断具有重要意义8-9。电能质量扰动类型的辨识主要基于两个关键步骤特征提取及扰动识别。在特征提取阶段，传统方法通过对原扰动信号进行数学处理，从而对其在时域和频域上的不同表征进行分析，并提取有用的特征向量或指标，主要包括短时傅里叶变换、小波变换、S 变换、经验模态分解等方法10-13。特征提取是实现高精度扰动识别的关键，然而上述传统数学信号分析方法存在着人为因素干扰较多、特征相对单一和冗余信息较多的缺点，不利于电能质量扰动的在线高精度识别。近年来，人工智能技术越来越多地被应用到特征提取的过程中。一方面，利用优化算法或决策树模型实现对最优特征集合的选取。文献14基于随机森林算法的特征重要性排序，结合贝叶斯优化方法，确定了最优特征子集，从而建立随机森林分类模型，实现对电能质量扰动的分类。文献15提出了一种自适应的人工蜂群-粒子群优化算法，从离散小波变换提取的 72 个特征中选取9 个最佳特征，获得了最高的分类准确率。另一方面，卷积神经网络的发展使得基于图像的特征提取受到重视。文献16提出了一种混合一维和二维的卷积神经网络，通过一维与二维特性向量相结合，获得了更好分类性能。文献17提出了一种基于二维残差网络的电能质量扰动识别方法，通过距离矩阵将电能质量扰动序列转化为图像，再利用残差网络提取特征，实现了电能质量扰动的高精度识别。虽然上述基于人工智能的特征提取方法改善了传统方法在速度、人为因素上的缺陷，但扰动可视化的数据冗余、集成模型的复杂度较高等问题阻碍了电能质量扰动模块的轻量化，在线识别的难度和成本较大。在扰动识别阶段，依据特征提取过程获取的特性向量类型(一维/二维)，多种人工智能算法均能实现分类任务的自动实现。在基于一维特征的扰动识别方面，机器学习、深度学习、集成学习等算法均能高效实现扰动识别，其中 XGBoost 算法的分类表现较为优异，而 LSTM 等深度学习模型具备一维特征的提取能力。文献18提出一种利用改进经验小波变换从时频域多角度获取复合扰动特征序列，以XGBoost 作为子分类器进行扰动识别。文献19提出一种利用 CNN-LSTM 提取扰动数据特征并完成分类的方法。但基于 XGBoost 等算法的识别模型仍依赖数学信号分析进行特征提取，基于 LSTM 的一维特征提取效率和深度也均不及二维模型。因此，以二维 CNN 为代表的扰动识别模型得到了更广泛的研究。文献20利用格拉姆角场提取二维扰动特征，文献1利用 S 变换提取扰动时频矩阵图，文献17利用距离矩阵将扰动特征转化为二维平面图，最后利用二维 CNN 对上述特征图像进行分类。但CNN 等深度学习模型的复杂度较高，若采用基础模型又面临着模型性能下降明显等问题，模型的低损失轻量化成为应用前的一道难题。近年来，深度神经网络在学术界和工业界的快速发展，尤其是在计算机视觉领域，带来的问题是这些繁琐庞大的深度模型难以部署在小型设备上(嵌入式设备或其他移动终端)，而知识蒸馏能有效地从教师模型中压缩、学习得到一个小的学生模型。为此，本文将知识蒸馏引入电能质量扰动识别领域来实现模型的轻量化，解决了深度模型的轻量化部署问题。利用递归图将一维扰动映射为二维图像后，一方面选取庞大且高识别精度的教师模型 DRSN，另一方面选取小巧且高计算速度的轻量化学生模型MobileNetV3，然后利用预训练的教师模型指导学生模型训练，以此提高学生模型的识别精度。1 PQD 识别框架 本文提出基于知识蒸馏和 RP-MobileNetV3 的电能质量扰动(power quality disturbance,PQD)识别基本框架如图 1 所示。图 1 PQD 识别框架 Fig.1 Identification framework of PQD 1)基于递归图(recurrence plot,RP)进行 PQD 图像数据集生成。该方法通过对采样后的一维 PQD 时间序列信号进行相空间重构以及计算欧式距离，生成递归图矩阵，构建二维PQD 图像数据集，用于更深层次的特征挖掘。2)基于预训练好的教师模型(如 DRSN)对学生模型(MobileNetV3)进行知识蒸馏。预训练的 DRSN通过卷积层对图像数据集进行特征提取，引入注意力机制进行软阈值化，残差连接加快网络收敛速度，最后全连接层输出预测结果。MobileNetV3 与其具有相似的网络结构，将 DRSN 的预测作为软标签与自身全连接层的输出计算损失函数，以此进行知识蒸馏。贺才郡，等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -77-3)基于知识蒸馏训练得到的学生模型对各种单扰动以及复合扰动进行特征学习，从而对未知信号进行分类。对不同噪声的扰动数据集进行充分学习，训练得到高精度识别模型。2 基本原理 2.1 PQD 按照 IEEE Std1159-2019 标准，可以将电能质量单扰动划分为 9 类，依次为暂降、暂升、谐波、中断、缺口、尖峰、闪变、暂态振荡以及暂态脉冲。复合扰动表现形式为单扰动相继发生或同时发生，本文在 9 种单扰动的基础上，研究了 15 种双重扰动和两种三重扰动，包括：谐波+暂升/暂降/闪变/中断、谐波+暂态振荡、暂态脉冲/振荡+闪变/暂升、闪变+暂降、暂态振荡+暂降、缺口/尖峰+暂升/暂降、暂态振荡+谐波+暂升/暂降，部分扰动波形如图2 所示。图 2 PQD 波形图 Fig.2 Waveform of PQD 2.2 RP 递归图21是非平稳信号领域的一种时间序列可视化方法，可以揭示时间序列的内部信息，给出预测性、信息量和相似性的相关先验知识，用于分析时间序列非平稳性、混沌性和周期性。因此本文采用递归图来挖掘电能质量信号的隐含特征，并对其进行二维可视化。对于给定时间序列(1,2,)ku kn，其生成递归图的过程如下所述。1)相空间重构 选取合适的嵌入维度 m 和延迟时间，重构后的时间序列ix 为(1)(,)iiiimxu uu (1)式中，1,2,(1)inmt。2)计算距离 计算重构后两个时间序列向量之间的欧式距离,i jS，如式(2)所示。,i jijSxx (2)式中：,1,2,(1)i jnm；|表示范数。本文直接用欧式距离,i jS当作递归值生成递归图矩阵。2.3 DRSN 深度残差收缩网络22是在残差网络的基础上引入注意力机制和软阈值化，由此改进形成的一种新的神经网络，是经典信号处理理论与注意力机制、深度学习的一次完美融合，具有极强的特征提取能力与抗噪性能，因此能用于电能质量扰动识别。残差收缩网络是一种面向含噪数据的深度学习方法，其通过注意力机制构建一个子网络，学习得到一组阈值，从而实现特征的软阈值化，添加的短路路径能加快网络收敛速度，避免网络退化，一个基本的残差收缩模块如图3所示。其中卷积层能够提取图像特征，BN(Batch Normalization)则是一种特征规范化技术，将特征标准化为正态分布(平均值为0，方差为1)。图 3 残差收缩网络的基本模块 Fig.3 Basic block of residual shrinkage network 残差连接能使得底层参数得到有效更新，避免网络退化。图3中的残差连接为采用恒等路径直接连接，对于经过卷积运算后特征图尺寸改变的情况，可以在残差路径上加入一个步长为2的11卷积层。残差收缩模块的基本组成包括卷积层、批量标准化层、恒等映射、全局平均池化(global average pooling,GAP)、全连接层(full connection,FC)、激活函数和软阈值化，图3中短路路径为恒等映射。GAP是一种计算特征图每个通道平均值的操作。通常，它在最终输出层之前使用，可以减少FC-78-电力系统保护与控制电力系统保护与控制 输出层中要使用的权重数量，从而减少深层神经网络遇到过度拟合的可能性。ReLu和Sigmoid为激活函数，数学表达式为 eLu,0()0,0 x xRxx (3)1()1exx (4)软阈值函数数学表达式为,0,xtxtytxtxtxt (5)软阈值函数与 ReLu 函数在残差收缩网络中都是非线性映射，都可以将部分区间置为 0，起到删除冗余特征的作用。但是与 ReLu 函数不同的是，软阈值化能够灵活地选取阈值 t，置零范围更灵活，且引入注意力机制后避免了人工选取阈值的困难，同时针对不同样本能够自动学习不同的阈值，每个样本都能拥有一组独特的阈值。2.4 MobileNetV3 MobileNetV323是一种融合了深度可分离卷积、残差连接、注意力机制的轻量化卷积神经网络，同时对激活函数重新设计，大幅减少了网络计算量，使其更容易地部署在小型设备上。MobileNetV3 基本模块如图 4 所示，特征图先通过一个 11 PW(Pointwise)卷积升维，然后采用33 DW(Depthwise)卷积分别对每个通道进行卷积(通道内卷积)，利用注意力机制对每个通道重新赋予权值，最后使用 11 PW 卷积降维(通道间卷积)，并且恒等路径连接两个低维度特征图，图中NL(nonlinear)表示非线性激活函数。将正常卷积拆分成升维、DW 卷积和降维，目的是加快网络计算速度。升维之后的 DW 卷积只会对单个通道进行卷积，是通道内卷积；降维的 PW卷积是完成信息的跨通道传输，是通道间卷积。MobileNetV3 对激活函数进行了重新设计，包括 ReLu6、hard-sigmoid 和 hard-swish 激活函数，如式(6)式(8)所示。eLu66,6(),060,0 xRxxxx (6)eLu6sigmoid(3)()6Rxhx (7)eLu6swish(3)()6Rxhxx (8)图 4 MobileNetV3 基本模块 Fig.4 Basic block of MobileNetV3 其中 ReLu6 函数比 ReLu 函数可以让模型更早地学到稀疏特征，同时能增强浮点数的小数位表达能力。而 swish 函数和 sigmoid 函数两者计算和求导过程十分复杂，并且对量化过程也不友好，改进之后能加快网络推理速度。2.5 知识蒸馏 知识蒸馏24(knowledge distillation,KD)是一种模型压缩方法，对于已经训练好的大而笨重的教师模型，利用“蒸馏”方法，将从大模型中所需要的“知识”(软标签)转移到另一个更合适部署的轻量化学生模型，蒸馏过程如图 5 所示。原始 softmax 函数表达式为 exp()exp()iijjzqz (9)式中：iz、jz 为全连接层的输出；iq 为 softmax 的输出，即模型预测结果。若直接使用softmax函数的输出值作为软标签，输出的概率分布熵相对较小，负标签的值有时接近0，对损失函数的贡献非常小，可以忽略不计。所以引入蒸馏温度 T 让 softmax 函数输出“软化”，蒸馏温度对软标签影响如图 6 所示，蒸馏温度从高变低时，曲线从陡峭变得平缓。加入温度后的 softmax 函数表达式为 exp(/)exp(/)iijjzTqzT (10)贺才郡，等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -79-图 5 知识蒸馏 Fig.5 Knowledge distillation 图 6 蒸馏温度对标签影响 Fig.6 Effect of distillation temperature on label 原始 softmax 函数为温度1T 的特殊情况，T越大，softmax 函数输出越平滑，分布熵越大，负标签携带信息也会被放大，模型训练时更加关注负标签。训练过程中因为两个损失函数贡献的梯度量不同，所以计算总损失函数时，要在“软”损失函数前乘以2T，所有损失函数表达式为 hardlogiiiLpq (11)softlogiiiipLpq (12)2hardsoft(1)LLT L (13)式中：hardL为“硬”损失函数；softL为“软”损失函数；L为总损失函数；为权重系数；ip为标签。蒸馏训练时，首先利用训练好的教师模型在蒸馏温度Tt下预测一个软标签，这个软标签将作为知识传递给学生模型。其次，训练学生模型时，在蒸馏温度Tt下，由学生模型的预测结果与教师模型给出的软标签计算出“软”损失函数(式(12)；而在蒸馏温度1T 下，由预测结果与one-hot编码的硬标签计算出“硬”损失函数(式(11)。最后，将两个损失函数加权求和，其结果作为最后训练学生网络的总损失函数(式(13)。3 实例分析 3.1 PQD图像数据集生成 本文根据IEEE Std1159-2019标准，并参考文献17-18的相关数学模型，单扰动数学模型见附录A表A1，在Matlab平台中生成共计27类电能质量扰动信号，每类生成1000组。其中，生成信号时，初始相位是随机的，基波频率为50 Hz，采样频率为1280 Hz，采样10个周期，共计256个数据点。为测试模型鲁棒性，除了生成无噪信号外，同时生成了信噪比30 dB和40 dB的含噪信号。生成的信号映射为二维递归图，再经过降采样减小图像尺寸后构建数据集，以8:2划分为训练集与测试集。本文扰动识别模型基于Python中的Pytorch搭建，一维序列映射为递归图基于Pyts库，相关运行环境如表1所示。表 1 实验平台版本与运行环境 Table 1 Experimental platform version and operating environment 实验平台 型号/版本 实验平台 型号/版本 OS Windows11(64)Python 3.9 GPU RTX 2080 Pyts 0.12.0 CPU Intel i7-9750H Pytorch 1.10.1 RAM DDR4 16GB CUDA 11.6 以标准正弦电压信号为例，其映射的二维递归图如图7所示。图 7 递归图 Fig.7 Recurrence plot-80-电力系统保护与控制电力系统保护与控制 3.2 教师模型对比 本文所用教师模型DRSN是在ResNet34的基础上加入软阈值结构改进形成的。训练过程中，不同噪声下的数据一起训练，优化器选择Adma，迭代次数为200，前100次迭代时学习率为0.001，之后为0.0001，不同模型识别结果如表2所示。表 2 不同模型识别对比 Table 2 Identification comparison of teacher models 模型 无噪 40 dB 30 dB DRSN 99.19%99.09%97.93%ResNet18 99.01%98.79%96.95%AlexNet 96.42%95.22%92.80%DRSN训练过程中，训练集与测试集正确率随迭代次数变化的过程如图8所示，其中测试集正确率分开验证。从表2和图8可以看出，通过灵活地设置学习率，即在100次迭代后减小学习率，训练集正确率为100%，而且在40 dB噪声环境下识别正确率与无噪情况极其接近，在30 dB噪声环境下也能保持非常高的正确率。图 8 训练过程 Fig.8 Training process 3.3 知识蒸馏对比 教师模型选取表2中训练完成的DRSN，学生模型选取未训练的MobileNetV3，网络结构见附录A表A2，为方便实验，仅在无噪声情况下进行知识蒸馏，训练时保持模型初始化情况相同。其中，表3展示了权重系数为0.1时，蒸馏温度对模型识别结果的影响，表4则展示了蒸馏温度4T 时，权重系数 对模型识别结果的影响，各种情况下均保持模型初始化情况相同。表 3 蒸馏温度 T 对识别结果的影响(=0.1)Table 3 Effect of distillation temperature T(=0.1)T 2 3 4 5 6 正确率/%98.19 98.23 98.36 98.07 98.12 表 4 权重系数对识别结果的影响(T=4)Table 4 Effect of weight coefficient (T=4)0.1 0.2 0.3 0.4 0.5 正确率/%98.36 98.33 98.5 98.21 98.34 实验结果表明，4T、0.3时，知识蒸馏的效果最好，在此情况下选取不同的轻量化卷积神经网络进行蒸馏，所有扰动的无噪与含噪数据一起训练，分别测试在不同测试集上的识别正确率，得到相关实验结果。同时，加入对比情况，保持模型初始化情况相同，学生模型单独训练，不采用教师模型指导，设置相同随机数种子，最后实验结果如表5所示。表 5 学生模型对比 Table 5 Comparison of student models 单独训练正确率/%知识蒸馏正确率/%学生模型 无噪40 dB30 dB 无噪 40 dB30 dBMobileNetV398.4898.0095.70 98.67 98.3296.76ShuffleNetV298.2797.9395.96 98.14 97.9895.63ShuffleNetV198.2198.0195.89 98.24 97.9696.07其中MobileNetV3单独训练与采用知识蒸馏的训练过程对比结果如图9所示，迭代次数为200，仅展示最后50次迭代时的测试集识别正确率变化。本文所用的网络其综合性能对比如表6所示，其中正确率为3种噪声情况下平均正确率，参数量为模型所包含的参数个数，模型大小指的是Pytorch中模型导出为pt文件的大小，时间为模型识别一张递归图的时间。对比单独训练与知识蒸馏训练的实验结果(表5)，MobileNetV3网络在无噪和弱噪声环境下识别正确率小幅提升，在30 dB较强噪声环境下正确率提升比较明显，能达到1.06%，从最后训练过程(图9)中观察不难发现，采用知识蒸馏训练后整体识别正确率能得到明显提升，同时说明通过知识蒸馏可以让本身不具有软阈值降噪结构的MobileNetV3网络具备一定程度上的抗噪能力。而对ShuffleNetV1和V2网络而言，利用教师模型指导进行知识蒸馏后正确率提升不明显，甚至不升反降(见表5)，初步贺才郡，等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -81-分析其原因是这两种轻量化网络结构与DRSN相差过大，不适合作为对应的学生模型，也有可能是参数量过少无法拟合过于庞大的教师模型。综上，从模型性能考虑(见表6)，利用教师网络DRSN指导学生网络MobileNetV3蒸馏效果最佳，能准确且高效完成扰动识别。图 9 训练过程中识别正确率变化 Fig.9 Identification accuracy rate change during training process 表 6 模型性能对比 Table 6 Model performance comparison 模型 正确率/%参数量/M 模型大 小/MB 时间/msDRSN 98.73 23.8 91.1 0.6913 ResNet18 98.25 11.2 42.7 0.3333 AlexNet 94.81 24.8 94.6 0.1728 MobileNetV3+KD 97.91 1.69 6.59 0.1235 ShuffleNetV2+KD 97.25 0.62 2.43 0.0864 ShuffleNetV1+KD 97.42 0.94 3.80 0.1975 3.4 各类扰动识别情况 利用表5中知识蒸馏后的MobileNetV3网络，对27类不同噪声下的扰动进行具体识别，各类扰动的识别正确率如表7所示。表 7 扰动识别正确率 Table 7 Accuracy of disturbance identification 类别 正确率/%类别 正确率/%正常 99.17 暂升+尖峰 91.83 暂升 97.50 暂降+谐波 99.83 暂降 98.33 暂降+闪变 100 谐波 98.83 暂降+振荡 96.33 中断 99.83 暂降+缺口 92.50 闪变 100 暂降+尖峰 91.33 振荡 98.33 谐波+闪变 100 脉冲 100 谐波+振荡 99.17 缺口 98.83 闪变+振荡 98.83 尖峰 99.00 闪变+脉冲 100 暂升+谐波 98.50 中断+谐波 100 暂升+振荡 97.50 振荡+谐波+暂升 97.67 暂升+脉冲 99.67 振荡+谐波+暂降 96.17 暂升+缺口 94.17 综合 97.90 由表7可知，本文所提算法对复合扰动识别效果极好，含有缺口和尖峰的复合扰动不易区分，导致模型对这类扰动识别正确率相对较低。3.5 硬件实验验证 为验证本文所提算法对实际PQDs信号的检测效果，利用Fluke6105电能功率标准源搭建如图10所示的硬件实验平台。首先信号源产生基波频率为50 Hz的各种扰动信号，其次利用示波器采集并观察扰动信号，然后通过串口通信传输到上位机，最后对扰动信号进行降采样与生成对应递归图，并送至MobileNetV3完成识别。图 10 实验平台 Fig.10 Experimental platform 实验过程中利用标准源共产生10种扰动信号，每类产生20组，最后利用表5中蒸馏后的模型MobileNetV3进行识别，结果如表8所示。-82-电力系统保护与控制电力系统保护与控制 表 8 扰动识别正确率 Table 8 Accuracy rate of disturbance identification 单扰动 正确率/%复合扰动 正确率/%暂降 95 谐波+暂降 95 暂升 95 谐波+暂升 90 中断 100 谐波+闪变 100 闪变 95 谐波+中断 100 谐波 100 闪变+暂降 95 因为标准源产生的扰动信号与仿真实验所用的数学模型不完全一致，所以最后的识别结果相较于表7的结果略低，总体来看本文算法正确率依旧良好。4 结论 为解决深度神经网络在计算机视觉领域与模型难以轻量化实现之间的矛盾，本文提出一种基于DRSN-MobileNetV3的知识蒸馏方法，利用递归图实现时间序列可视化，让庞大但高精度的教师模型(DRSN)指导轻量化的学生模型MobileNetV3进行训练，以此实现轻量化且高精度的复合扰动识别。最后，本文通过Python仿真实验与硬件平台实验得出以下结论：1)针对复合扰动特征提取困难的问题，提出基于递归图的时间序列成像方法，其在电能质量扰动识别领域得到有效应用，并能有效揭示扰动信号内部规律，从而让卷积神经网络能够对其进行特征提取；2)针对复合扰动正确率低和抗噪性差的问题，提出基于RP-DRSN的电能质量扰动识别模型，该模型具有极高的复合扰动识别正确率，基于注意力机制的软阈值降噪能让模型在强噪声环境下，依然具备极高的扰动识别正确率；3)针对庞大模型难以轻量化部署的问题，提出基于知识蒸馏的DRSN-MobileNetV3训练方法，该方法能保证网络轻量化的同时有效提高识别精度，且让本不具备软阈值降噪的MobileNetV3也具备较强的抗噪性能，最后实现轻量化且高精度的扰动识别。附录 A 表 A1 PQD 数学模型 Table A1 Mathematical model of PQD 扰动 数学模型 约束条件 正常()sin(2)y tft 50 Hzf 暂降 12()1()()sin(2)y tu ttu ttft 210.10.9,9TttT 暂升 12()1()()sin(2)y tu ttu ttft 210.10.8,9TttT 中断 12()1()()sin(2)y tu ttu ttft 210.91,9TttT 闪变()1sin(2)sin(2)y ttft 0.10.2,520Hz 振荡 1()/12()sin(2)e()()sin(2)t tny tftu ttu ttf t 0.10.8,300900 Hznf 21840 ms,0.53TttT 脉冲 12()sin(2)()()y tftu ttu tt 2113,130 mstt 谐波 135()sin(2)sin(6)sin(10)y tftftft 21350.5,0.15,1i 缺口 121()sin(2)signsin(2)(0.02)(0.02)niy tftKftu ttnu ttn 210.10.4,0.010.05KTttT 120,0.5t tT 尖峰 121()sin(2)signsin(2)(0.02)(0.02)niy tftKftu ttnu ttn 210.10.4,0.010.05KTttT 120,0.5t tT 贺才郡，等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -83-表 A2 MobileNetV3 结构 Table A2 Structure of MobileNetV3 input operator exp size output SE NL stride3 conv2d 33 16 HS 2 16 block 33 16 16 RE 2 16 block 33 72 24 RE 2 24 block 33 88 24 RE 1 24 block 55 96 40 HS 2 40 block 55 240 40 HS 1 40 block 55 240 40 HS 1 40 block 55 120 48 HS 1 48 block 55 144 48 HS 1 48 block 55 288 96 HS 2 96 block 55 576 96 HS 1 96 block 55 576 96 HS 1 96 conv2d 11 576 HS 1 576 pool 77 1 576 conv2d 1 1 NBN 1024 HS 1 1024 conv2d 1 1 NBN 27 1 注：input表示模块输入通道数；operator 表示模块结构；exp size表示升维后通道数；output表示模块输出通道数；SE表示模块是否加入注意力机制；NL表示激活函数类型；HS为hard-swish激活函数；RE为Relu激活函数；stride表示模块中卷积层步长；NBN表示不采用批量标准化。参考文献 1 伊慧娟,高云鹏,朱彦卿,等.基于自适应不完全 S 变换与 LOO-KELM 算法的复合电能质量扰动识别J.电力自动化设备,2022,42(1):199-205.YI Huijuan,GAO Yunpeng,ZHU Yanqing,et al.Recognition of composite power quality disturbance based on improved incomplete S transform and LOO-KELM algorithmJ.Electric Power Automation Equipment,2022,42(1):199-205.2 CAICEDO J E,DANIEL A M,EDWIN R T,et al.A systematic review of real-time detection and classification of power quality disturbancesJ.Protection and Control of Modern Power Systems,2023,8(1):30-66.3 何国庆,王伟胜,刘纯,等.分布式电源并网技术标准研究J.中国电力,2020,53(4):1-12.HE Guoqing,WANG Weisheng,LIU Chun,et al.Study on technical standard of distributed resources grid integrationJ.Electric Power,2020,53(4):1-12.4 阮梓航,肖先勇,胡文曦,等.基于多粒度特征选择和模型融合的复合电能质量扰动分类特征优化J.电力系统保护与控制,2022,50(14):1-10.RUAN Zihang,XIAO Xianyong,HU Wenxi,et al.Multiple power quality disturbance classification feature optimization based on multi-granularity feature selection and model fusionJ.Power System Protection and Control,2022,50(14):1-10.5 牛罡,张凯,郭详富,等.格拉米角场和图卷积神经网络识别复杂电能质量扰动J.中国测试,2022,48(7):169-176.NIU Gang,ZHANG Kai,GUO Xiangfu,et al.Complex power quality disturbance identification based on Gramian angular field and graph convolution neural networkJ.China Measurement,2022,48(7):169-176.6 贺才郡,李开成,杨王旺,等.基于双通道 GAF 和深度残差网络的电能质量复合扰动识别J.电网技术,2023,47(1):369-379.HE Caijun,LI Kaicheng,YANG Wangwang,et al.Power quality compound disturbance identification based on dual channel GAF and depth residual networkJ.Power System Technology,2023,47(1):369-379.