基于多分辨率深层网络的图像去雨方法研究.pdf

Microcomputer Applications Vol.39,No.8,2023文章编号：10 0 7-7 57 X（2 0 2 3)0 8-0 2 0 1-0 4开发应用基于多分辨率深层网络的图像去雨方法研究微型电脑应用2 0 2 3年第39 卷第8 期廖建敏1，李丽红，义翔3（1.广西机械工业研究院有限责任公司，广西，南宁530 0 0 7；2.桂林理工大学南宁分校，计算机与应用系，广西，南宁530 0 0 1；3.广西桂鹿高速公路有限公司，广西，南宁530 0 0 2 2）摘要：雨天条件下视频监测图像中含有雨滴，使得输变配电设备监测目标的细节信息模糊，降低了目标的辨识度，影响了视频监测的性能。针对雨滴导致的视频监测图像退化问题，提出了一种基于深层神经网络的多分辨率模型。首先，利用先验信息，采用小波滤波提取表征图像高频分量的雨滴模糊特征图，将模型聚焦于雨滴信息，从而有效抑制图像中的背景干扰。其次，借鉴HRNet网络多分辨率提取多阶特征结构，构建多分辨率深层神经网络融合底层和高层特征，有效丰富网络的信息表征能力。最后，采用强化学习方法，调节模型多分辨率分支数，优化模型去雨性能。在合成及真实世界的雨天图像集上，对所提出的方法进行了实验验证，实验结果表明本文方法较其他方法具有更好的去雨效果。关键词：小波滤波；深层神经网络；强化学习方法；图像处理中图分类号：TP391文献标志码：AResearch on Image Rain Removal MethodBased on Multi-resolution Deep NetworkLIAO Jianmin,LI Lihong,YI Xiang(1.Guangxi Machinery Industry Research Institute Co.,Ltd.,Nanning 530007,China;2.Department of Computer Applications,Guilin University of Technology at Nanning,Nanning 530o01,China;3.Guangxi Guilu Expressway Co.,Ltd.,Nanning 530022,China)Abstract:Under rainy weather,the video monitoring image contains raindrops,it blurs the detailed information of the monito-ring target,reduces the recognition of the target,and affects the performance of video monitoring.Aiming at the problem ofvideo monitoring image degradation caused by raindrops,this paper proposes a multi-resolution model architecture based ondeep neural networks.Using the prior information,the wavelet filtering is used to extract the fuzzy feature maps of raindropsthat characterizes the high-frequency components of the image,which renders the model to focus on the raindrop informationand effectively suppress the background interference in the image.Learning from the multi-branch extraction structure of themulti-resolution feature of HRNet,a multi-resolution deep neural network is built to fuse the bottom and high-level features,and effectively enrich the information representation capabilities of the network.Reinforcement learning method is used to ad-just the number of multi-resolution branches of the model to optimize the network performance.On the synthetic and real-worldrainy day image sets,the method proposed in this paper has been experimentally verified.The experimental results show thatthe method has better rain removal effect than other methods.Key words:wavelet filtering;deep neural network;reinforcement learning method;image processing当物体的纹理和结构与雨纹相似时，传统的机器学习很0引言难提取目标物体的特征信息。文献 1-2 采用了深度学习对近年来，随着企业快速持续健康发展，企业管理结构不图像去雨，取得了较好的图像去雨效果。然而，上述深度网断优化。视频监控系统通过安装在不同地点的摄像机，将现络去雨算法侧重于提取图像深层特征，未聚焦于雨滴信息的场的视频及时传送到监控室，提高了管理监督效率，有效降提取，同时没有考虑多分辨率网络结构对雨滴特征提取的影低管理成本费用。然而，雨天拍摄的输变配电设备图像集中响。面对未知输入数据的情况下，强化学习可以根据任务目包含了大量的雨纹，降低了图像的清晰度，可能会引起图像标学习最优的决策方式，模型灵活性高。文献 3-5采用了处理任务性能的降低。因此，如何从图像或视频中有效去除深度强化学习，优化模型学习结果。强化学习的出现克服了雨纹具有重要的实践应用价值。模型泛化能力的不足，目前尚未存在采用强化学习优化模型作者简介：廖建敏（197 7 一），男，硕士，高级工程师，研究方向为图像处理、智能控制；李丽红（197 9一），女，硕士，讲师，研究方向为计算机科学与技术、图形图像处理；义翔（197 5一），男，本科，信息系统项目管理师，研究方向为信息安全。201Microcomputer Applications Vol.39,No.8,2023图像去雨效果的方法。针对现有图像去雨算法提取的雨滴信息特征单一，本文提出了一种基于深层神经网络的多分辨率模型架构用于去除图像中的雨纹，获得了更好的去雨效果。1多分辨率深度网络本文提出了一种基于多分辨率网络结构的图像去雨方多分辨率滤波层一网络结构输入雨滴模糊特征图图1基于深度学习的图像去雨网络架构1.1滤波层为了提高模型图像去雨的性能，本文采用小波变换用于压缩输入数据的映射范围，以提升网络训练速度，同时可以去除背景干扰，改善图像去雨结果。设输人雨天图像表示X=（X R，X G，X B），X R 表示输入图像的R通道信息，XG表示输入图像的G通道信息，XB表示输入图像的B通道信息。图像X，的尺寸大小为MXN,将图像X，iE R,G,B经小波变换分割成4个不同频率的子图像。设H和E分别表示滤波器H和E的共轭算子，k表示小波分解层数，则水平和垂直方向的低频子图像公式 6 表示为LL(m1 n)=LLS.HJeolms HM其中=1,;m=1水平方向的低频和垂直方向的高频子图像表示为LH()(m2 n2)=LLSb.HJolms EM其中，m22水平方向的高频和垂直方向的低频子图像表示为HL()(m na)=LL(Sw).Eeclmn HM其中ms=1,学n:=N2k+12-1水平和垂直方向的高频子图像表示为HH()(m4,n)=LL(Sb.EJolumms EM其中，m42分解的层数，其值为1,2,3，当k=1时，式（1）式（4)等号右侧的LL(）表示未分解的原始图像。则输入图像的分解结果如图2 所示。本文选取三通道的HL子图像，经归一化合成雨滴模糊图。由图3可知，雨天图像集经滤波层输出雨滴模糊特征图与雨天图像集相比，雨滴模糊特征图的像素值明显降低。1.2雨滴层映射为了提高模型去雨效果，本文采用多个分支提取不同抽象程度的高阶特征，可以有效丰富网络的表达能力。图4给开发应用法，如图1所示。面向雨天图像集，通过滤波层获取雨滴模糊特征图，用多分辨率网络结构提取雨滴模糊特征图中的雨滴信息特征图与输入图像合成，获取输变配电设备的去雨图像。采用强化学习根据输入数据评价模型的去雨价值，优化模型参数。由于我们无法获取雨天图像对应的无雨图像集，因此本文通过无雨图像集合成雨天图像集，用于训练网络模型。多分辨率分支数调节去雨价值满足预测价值计算雨滴信息特征图05010015000501001500050100(1)1500，2。050100(2)150MNNMNN+1，2k-T;n4=2k微型电脑应用2 0 2 3年第39 卷第8 期050100150100200100150100200(a)R通道05010015010020010015001000(3)5010015000(4)501002-，k 表示小波1500出了模型HRNetL7的去雨效果，本文对该模型进行了改进，以适用于图像去雨的回归问题。由图4(b)可以看出，原始的HRNet结构去除雨滴信息不彻底。图4(c)检测目标的颜色和结构轮廓能通过简单的残差信息保留且雨滴信息去除效果较好。本文提出的雨滴多分辨率网络结构较原HRNet网络具有更低的训练速度和误差。202输出0100050000502000(b)G通道050100150100200100150100200(c)B通道图2 小波分解图20010020010020010020001000500200100200Microcomputer Applications Vol.39,No.8,2023-0.30.2（e）雨滴模糊特征图（f）雨滴R通道的直方图图3特征图数值的稀疏性开发应用10012F8010608F640F4F2000.10(a)原图（b）原图R通道的直方图3025201510501-0.4微型电脑应用2 0 2 3年第39 卷第8 期700600F500F400F300F200F100L0.2 0.400.60.81.00.200.3000.02（c）原图G通道的直方图（d）原图B通道的直方图20600L50015400F10300F2005100000.40.200.2（g）雨滴G通道的直方图0.060.100.380.34-0.300.26（h）雨滴B通道的直方图(a)原图图5给出了多分辨率网络结构图。雨滴模糊特征图3x3Conv,a多分辨率模块1多分辨率模块1：多分辨率模块b多分辨率模块b3x3Conv,3雨滴信息特征图T图5多分辨率网络结构由图5可知，雨滴模糊特征图经多个结构相同的多分辨率网络层获取雨滴信息特征图。雨天图像集经低通滤波层获取雨滴模糊特征图，经多分辨率模块获取细节特征图，细节特征图包含雨痕及与雨痕纹理相似的物体结构信息。雨滴模糊特征图和细节特征图能有效压缩数据的信息范围，提高网络模型的训练速度，改善图像去雨效果。同时，雨滴模糊特征图与细节特征图包含雨痕信息，缓解了网络退化。因此，本文将雨滴模糊特征图作为多分辨率网络的输入，将多(b)HRNet图4不同网络结构的去雨效果分辨率网络输出的细节特征图与网络其它层雨滴特征图相合成，获取雨滴信息特征图T，表示如下：T=A+Fb其中，A表示雨滴特征图，F，表示多分辨率模块6 输出的细节特征图。图6 给出了多分辨率模块图。由图6 可知，多分辨率模块并行连接r个不同分辩率的分支，第一个分支连接卷积核大小为33的卷积层，特征图分辨率最高，输出通道为g；第二个分支经下采样，特征图分辨率减半，输出通道为2 g，卷积核大小为33；依此类推，第r个分支经下采样，特征图分辨率为第一个分支特征图的1/r,输出通道为rg，卷积核大小同样为33。特征图下采样上采样单元图6 多分辨率模块1.3基于强化学习的网络性能优化图像去雨模型的输人数据集通常是变化的、不确定的，因此本文采用强化学习根据输入数据的特征，调节多分辨率分支数，优化网络的多分辨率模型，学习出最佳网络结构。本文采用SSIM图像质量评估指标作为模型的奖励函数，则.203(c）本文方法卷积(5)Microcomputer Applications Vol.39,No.8,2023模型回报函数P表示为Q.=l(c,y)a.c(a,y).s(,y)l(x,y)=(2uruy+C)/(u+u,+C)c(a,y)a=(20r0+Cz)/(o+o+C2)s(,y)=(ory+C)/(oroy+C,)其中，Q。表示在第次反馈过程中，模型的奖励值，表示衰减系数，和y表示特征图的像素值，u是的平均值，uy是的平均值，为的方差，为的方差，y为和的协方差；文中，=0=1,Ci、C和C为参数,C,=2C3。本文决策的目标是根据输入图像集的不同发现最优策略以使期望的模型回报函数值最大。根据输入雨天图像集经模型训练，计算模型汇报函数值P,若P满足设定的阈值，则模型训练结束；反之，则增加网络多分辨率分支数，重新训练网络模型。2实验结果本文提出了一种基于深度学习的多分辨率模型架构，用于去除图像中的雨纹。由于我们无法获取雨天图像对应的无雨图像集，因此本文通过无雨图像集合成雨天图像集，用开发应用于训练网络模型。为了提高数据处理效果，使合成图像尽可P=y-1Q.(6)(7)(8)(9)(10)微型电脑应用2 0 2 3年第39 卷第8 期能接近真实雨天场景，通过调节点状化单元格和动感模糊命令角度，调节雨滴粗细和雨滴角度，分别合成了处于大雨及小雨场景的图像集，增加样本集的多样性，获取本文中实验所需的相关样本，使预先的数据更合理性，加快网络模型的收敛速度。2.1参数设置为了评估本文图像去雨算法的有效性，采用合成雨天图像集训练网络模型，图像分辨率为48 132 1和32 148 1两种。其中，包含18 0 0 个训练样本集和2 0 0 个测试样本集。所有实验均在CPUi7-7700K，16 G 内存，GTX1070Ti环境下运行。多分辨率网络结构的深度b设置为10，宽度a设置为16；网络模型训练学习率为0.0 5；网络最大选代次数itera-tion设置为10 0 K。图7 列出了关于不同网络参数图像去雨效果图。由图7可以看出，当模型多分辨率分支数的初始增加时，图像去雨纹效果逐渐改善；随着模型多分辨率分支数的进一步增加，当r为4与r为3时的网络模型，生成的去雨图像视觉效果相近。模型多分辨率分支数的增加，提高了网络的表达能力。然而，考虑到计算机内存消耗，因此r选择3。(a)原图图8 给出了关于不同网络参数的模型回报值。由图8可以看出，随着模型多分辨率分支数的增加，模型回报值不断增加；当r为4的模型回报值相较于r为3时的模型回报值增加幅度较小。此外，图8 中的模型回报值与图7 中的图像去雨效果具有相同的变化趋势。实验结果表明，本文构建的模型回报值能有效评价模型去雨效果。2.3真实雨天数据集的去雨效果由于本文采用合成雨天图像集训练网络模型，为了验证本文方法的有效性，图9给出了真实雨天的去雨效果图。(b)r=1图7 关于不同模型结构的图像去雨图(c)r=2(d)r=30.99950.99900.99850.99800.99750.99700.9965图8 模型回报值(e)r=4234(a)原图本文选取2 种相对较新的图像去雨方法做对比，分别为空一频域联合的交通监控视频去雨方法 8 和基于联结残差网络的图像去雨算法 9。由图9可以看出，图9(b)和图9(c)保留了部分雨纹信息，未能有效的去除雨纹信息。实验表明本文提出的图像去雨方法效果最好，图像集经去雨纹操作后，提高了真实雨天图像的视觉质量。（b）空一频域联合的交通监控视频去雨方法图9真实雨天图像的去雨效果2.2多分辨率网络的收敛效果图10 给出了关于不同迭代次数的每幅雨天图像的网络训练损失值。由图可以看出，随着网络迭代次数的增加，网络训练损失值逐渐收敛，这是由于网络的参数随着迭代次数的增加不断优化。此外，本文去雨方法的网络训练损失值最（下转第2 2 4页）.204（c）基于联结残差网络的图像去雨算法(d)本文方法Microcomputer Applications Vol.39,No.8,2023故障实际距离/km101520根据表1可知，当处于不同故障距离情况下，本文方法进行安全态势识别时并未受到过渡电阻的影响，因此能够精准定位故障距离，而相对误差均保持在0.0 0 3km以下，因此本文识别故障效果相对精准。3总结本文研究电力系统继电保护装置直流接地安全态势识别方法，通过分析MMC-DC稳态特性与暂态特性，了解影响直流接地安全态势的因子，通过故障与非故障继电保护装置暂态差流对比，分析故障与非故障线路的区别特征,研究基于短时能量的直流接地安全态势识别方法，通过短时能量的计算与动态时间规整算法相结合，实现安全与非安全线路的33333338333333333333333338333333333333333333338（上接第2 0 4页）小，这表明本文提出的图像去雨方法相较于其他2 种方法去雨性能最优。876543210图10 多分辨率网络架构的收敛曲线3总结本文提出了一种基于多分辨率网络结构的图像去雨深度学习框架。通过结合图像的高频雨滴模糊特征图和雨滴信息特征图，减少特征信息数值的映射范围，简易网络的训练过程，去除背景干扰；构建多分辨率网络结构，增强网络的表达能力，改善图像去雨效果。同时，构建模型回报函数，采用强化学习评价模型去雨效果，选取性能较优的去雨模型，改善了图像的去雨视觉质量。1马婧婧，黄煜峰，陈翔.多尺度沙漏结构的单幅图像去雨算法研究J.小型微型计算机系统，2 0 2 1，42（3）：开发应用表1不同方法故障测距误差有效识别。在未来阶段内，可继续加深研究，实现电力系统继电保过渡电阻/定位距离/km2010.0016010.00110010.0032015.0016014.99810014.9992019.9986019.99710020.003一空-频域联合去雨方法-联结残差网络去雨方法-本文去雨方法200040006000800010000选代次数参考文献微型电脑应用2 0 2 3年第39 卷第8 期相对误差/护装置的多线路安全态势识别。km0.0010.0010.0030.0010.0020.0010.002.0.0030.003参考文献1宋国兵，王婷，张保会，等.利用电力电子装置的探测式故障识别技术分析与展望J.电力系统自动化，2020,44(20):173-183.2 庄祎，李小鹏，滕予非，等.一种高压直流输电系统接地极线路保护新方法J.电力自动化设备，2 0 19，39(9):74-79.3杨天琦，王琦，叶志浩.基于迁移支持向量机的舰船综合电力系统继电保护方法研究J.电力系统保护与控制,2 0 2 0,48(2 3)：12 4-132.4吴本祥，张晓锋，徐国顺，等.船舶交直流混合电力系统接地方式对直流共模电压影响研究J.海军工程大学学报，2 0 19,31（3）：10 2-10 6.5高旭，马迎新，崔汉青，等.基于混合式直流断路器的柔性直流架空线路单极接地故障重合闸方案J.电力系统及其自动化学报，2 0 2 0，32（11）：12 3-131.6 戴志辉，黄敏，苏怀波.基于MMC的环状直流配网在不同接地方式下的故障特性分析J.电力系统保护与控制,2 0 19,47(1):7-16.（收稿日期：2 0 2 1-11-0 1)561-565.23王薇薇，翟亚宇，陈平，等.基于多流扩张残差稠密网络的图像去雨算法J.激光与光电子学进展，2 0 2 1，58(4):273-281.3杨宁康，韩立金，刘辉，等.基于效率优化的混合动力车辆强化学习能量管理策略研究J.汽车工程，2021,43(7):1046-1056.4MNIH V,KAVUKCUOGLU K,SILVER D,et al.Human-level Control through Deep ReinforcementLearningJ.Nature,2015,518(7540):529-533.5(GERSHMAN S J,DAW N D.Reinforcement Learn-ing and Episodic Memory in Humans and Animals:An Integrative Framework JJ.Annual Review ofPsychology,2017,68(1):101-128.6 黄雪菊，王秀梅，郝常明.基于小波变换的图像分级压缩算法J.重庆邮电学院学报（自然科学版），2 0 0 6，18(4):451-454.7SUN K,XIAO B,LIU D,et al.Deep High-ResolutionRepresentation Learning for Human Pose EstimationEB/OLJ.2019:arXiv:1902.09212.https:/arxiv.0rg/abs/1902.09212.8 宋传鸣，洪旭，刘定坤，等.空-频域联合的交通监控视频去雨方法J.模式识别与人工智能，2 0 2 0，33（9)：852-866.9陈清江，吴田田.基于联结残差网络的单幅图像去雨J.液晶与显示，2 0 2 1，36（4）：6 0 5-6 14.(收稿日期：2 0 2 1-12-16)224