大气散射模型与关联帧补偿的视频图像去雾及增强.pdf

收稿日期:修回日期:基金项目:安徽省重点研究与发展计划项目()安徽省自然科学重点研究项目()作者简介:刘春友()男副教授硕士主要研究方向为软件开发与深度学习:.:/大气散射模型与关联帧补偿的视频图像去雾及增强刘春友 齐 平(.安徽工业职业技术学院安徽 铜陵 .铜陵学院安徽 铜陵)摘要:针对雾霾天气下获取的视频及图像存在雾化、模糊等问题提出大气散射模型结合关联帧补偿的视频图像去雾及增强算法 首先设计了多维空间权重注意力模块提取空间信息转移不同特征信息权重提高其利用率其次构造参数估计子网络提取大气光和透射图结合大气散射模型求取清晰图像其次提出关联帧补偿机制利用视频帧间关联性提高参数估计准确度降低网络学习难度最后设计多项式损失函数进一步提高输出质量 在多个数据集下的实验结果表明算法处理后的结构相似性()和峰值信噪比()分别达到.和.均优于对比的经典及新颖算法有效解决图像雾化问题的同时能增强纹理细节等特征满足视频和图像实时去雾要求为后续基于人工智能的视觉任务提供良好基础关键词:大气散射模型机器视觉深度学习视频关联帧去雾及增强中图分类号:文献标识码:文章编号:().第 卷第 期 年 月信 息 工 程 大 学 学 报 .引言现代兵器装备等常配置目标识别与武器控制系统其应用的精确性和可靠性依赖设备的视觉感知能力 但空气中悬浮的大量细微颗粒使光线被吸收与散射导致图像及视频采集设备成像存在对比度低、细节模糊、颜色失真等问题严重影响基于光学视觉的智能系统正常运行 因此利用人工智能技术实现雾、霾等恶劣天气下的退化图像及视频清晰化任务具有重要意义现阶段去雾领域包括图像及视频去雾图像去雾主要分为传统方法及深度学习方法 传统算法包括先验知识与大气散射模型结合、小波变换、直方图均衡化及 等 例如:等提出暗通道先验算法获取图像透射率并求取清晰图像但面对天空等大面积纯色区域时结果通常会出现颜色失真及光晕伪影等现象王智文等提出一种自适应多尺度统计模型的图像去雾算法该算法能较好保持图像的边缘特征但在处理低照度图像时容易出现光晕现象在基于深度学习图像去雾算法中钱旭淼等将注意力与特征融合方法结合利用不同通道与特征加权来端到端地获取清晰图像但该方法未使用大气散射模型作为引导鲁棒性较差等提出一种端到端去雾网络将暗通道先验与深度学习网络结合但该算法在处理较暗图像时参数估计不准确泛化能力低肖进胜等设计一种沙漏型生成器结构的图像去雾网络通过训练大量对称数据使网络获得去雾能力但在处理复杂的真实退化场景时泛化能力较低除图像去雾外大量学者还提出视频去雾算法 等通过使用直方图均衡化求取前后景大气光和透射率实现视频去雾但时效性较差陈志恒等提出基于金字塔模型的视频实时去雾算法但结果偏暗且去雾不彻底针对上述问题基于大气参数特性提出一种关联帧补偿机制的视频图像去雾及增强算法主要贡献包括如下 个方面)提出多维空间权重注意力模块包括多维空间提取模块确保了图像输入信息的完整性自适应加权融合模块对不同尺度特征加权融合避免了单一卷积丢失细节信息)针对大气散射模型中参数的不同特征提出参数估计子网络提取大气光和透射图结合光学大气散射模型恢复清晰图像提高网络的鲁棒性)基于大气光具有全局属性且在同一视频下相邻时间点的恒常特性设计关联帧补偿机制将上一帧的大气光权重补偿到当前帧中降低网络的学习难度提高帧与帧之间视觉连贯性并针对输出图像的颜色、结构、细节等内容设计多项式损失函数进一步提升输出图像质量 大气散射模型为提高雾、霾天气下退化图像及视频质量 提出大气散射模型拟通过光学物理建模方式从退化图像中获得清晰图像 所述成像过程如图 所示图 大气散射模型该模型包括两部分:大气中细小微粒对光线的吸收及散射导致入射光的衰减部分、周围环境的反射光经过衰减进入探测设备的大气光成像部分其公式为()()()()()()()式中:表示光的波长()()()表示入射光的衰减部分()()()为大气光的成像部分()表示无穷远处的大气光值()()表示透射率为方便表示令()()、()()、()得到简化后的大气散射模型为()()()()()式中:()为探测设备获取的退化图像()表示清晰图像、()分别表示大气光和透射率 为像素点的位置 信 息 工 程 大 学 学 报 年去雾的最终目的为从退化图像中获得()与从而求解清晰图像即()()()()()本文算法本文算法使用的网络结构如图 所示 当退化视频输入网络时首先将其拆分为帧标号为并将退化帧 输入到多维空间权重注意力模块其次通过参数估计子网络中的透射图提取模块()和大气光估计模块()分别计算大气散射模型中的透射图()和大气光()再次设计一种关联帧补偿结构即利用存储器将上一帧()的权重系数补偿到当前帧中最后结合大气散射模型求取清晰图像图 算法网络结构.多维空间权重注意力模块本文设计多维空间权重注意力模块提取退化帧及图像的空间信息 该模块首先使用 卷积提取图像全局信息保证图像完整度其次在此基础上使用 卷积提取主要信息最后加入 卷积防止图像细微信息丢失 此外将原图像直接传入 个卷积单元中融合多维空间信息保证信息完整性并将 个分支的输出分别设为、受 启发设计一种自适应加权融合模块()充分融合 个分支提取的特征结构如图 所示 将、分支的权重系数转接到卷积单元上并采用连接操作()将分支特征的权重信息融合使得到的特征图不仅可以保持主干网络传递的卷积尺度降低后续学习难度还可以携带不同尺度特征的权重信息保持图像及视频的完整性图 自适应加权融合模块结构.参数估计子网络完成对退化帧或图像的信息提取并融合后将得到的特征图传递到参数估计子网络中 该网络主要由 与 两个平行分支模块组成如图 所示 其目的是从特征图中生成对应的大气光透射图()和大气光()并结合式()输出清晰图像()结构()结构图 参数估计子网络结构本文构建了一种由对称结构卷积单元组成的 第 期刘春友等:大气散射模型与关联帧补偿的视频图像去雾及增强编码器解码器结构 如图()所示 由文献可知大气光具有全局属性且与图像内容本身无关可以从高斯分布中采样获得在 中还加入高斯重采样来进一步优化大气光 此外由式()可知()表示无穷远处的大气光值因此可以假设同一视频下相邻时间点的大气光具有恒常性进而设计了一种关联帧补偿机制将上一帧的大气光权重补偿到当前帧来提高输出质量并降低网络的训练难度 经过本文实验当选择使用 层卷积单元时 可同时兼顾网络处理能力与效率 的工作流程如下:首先输入特征()经过编码器初步处理输出两个具有相同特征图的分支其次保留一条分支另一分支则与上一帧大气光()权重通过元素相乘获取关联帧的权重信息再将两条分支转换为高斯分布通过高斯重采样融合并重构大气光编码器最后通过解码器求解当前帧的()并将当前帧的()输入到存储器替换()来补偿下一帧提取的大气光()考虑到当网络处理第一帧或单幅图像时没有上一帧大气光来获取加权信息所以将存储器的默认初始值设置为单位矩阵即使用单位矩阵与当前帧的大气光图进行元素相乘且不改变其权重信息并设计对应损失函数进一步提高该模块在处理图像时的输出质量为提高网络估计透射图()的准确度设计了透射图提取模块()其结构如图()所示 由式()可知大气光成像部分包含透射图()因此首先从该部分估计粗糙透射图()然后再进一步对其优化即设大气光成像部分为()则粗糙透射图的估计公式为()()()其中可以通过逐像素点计算退化帧的最小值()来估计()则粗糙透射图()可表示为()()().)()式中:()最小值设为.设为.基于同一视频下的大气光具有恒常性的特点将相邻帧大气光输入到模块中进行求解的同时可提高网络的处理效率由于()中同时包含平滑的纹理信息与跃变的景深边缘特征而纹理信息对透射图估计具有干扰作用因此需要进一步对其抑制来优化透射图流程如下 首先使用最大池化操作来增强景深边缘特征其公式为()()()式中:表示特征图像数量 为通道数、表示池化尺度的高度和宽度 表示设置的最大值窗口 表示步径默认为 的大小 其次通过使用下采样操作降低图像分辨率来减少纹理特征数量并使用全变分模型进一步平滑细节和保持边缘特点 最后采用上采样模块恢复特征图像大小输出透射图().损失函数本文设计的多项式损失函数由颜色损失()、结构相似性损失()及内容损失()等函数组成首先为使视频或图像学习真实清晰图像的颜色特征加入颜色损失函数其公式为 ()()()式中:为数据集中清晰图像表示网络输出()表示高斯模糊操作 其次加入 函数来测量输出与真实清晰图像的结构相似度其公式为 ()式中:、分别为网络输出与清晰图像的平均值和标准差表示协方差、为常数防止分母除零 最后加入由预先训练好的 网络组成的内容损失函数其公式为()()()式中:表示 损失网络、表示特征图像的高度和宽度为第 层特征图大小 最终多项式损失函数 为 ()式中:将 设为主要项将 与 设置为.和.时网络输出质量可达到最优实验分析与比较.实验设备与数据集本文的实验环境如下:为()为 .信 息 工 程 大 学 学 报 年系统.框架及.优化器为批量大小()设置为 共训练 个 前 个 的学习率为 后 个 的学习率降为 由于实际中难以获得同一状态下完全一致的有雾及无雾的真实图像基于深度学习网络的图像去雾算法大多使用合成数据提升网络去雾能力本文选择了 数据集来训练并测试本文网络该数据集包括室内训练集()、室外训练集()及综 合 测 试 集()共 张图像 此外使用真实雾天退化图像与降质视频数据集验证算法在实际应用中针对视频图像的去雾及增强能力.主观评价对比算法选取暗通道先验算法()、端到端的去雾网络()、等提出的多尺度卷积神经网络的去雾算法()、等提出的单图像去雾轻量级网络()及 等提出的门控融合网络()并在合成和真实退化图像中进行测试验证本文算法的去雾及增强效果部分结果如图 所示图 合成数据对比结果 从图 可以看出虽然对比算法都可以在一定程度上实现去雾效果但结果大多都存在一定问题例如:图()的 算法、图()的 算法、图()的 算法及图()的 算法结果中均出现对比度较低的问题 算法的天空区域存在明显失真其他算法也均存在部分失真现象 此外图()的 算法的结果图像去雾不彻底鲁棒性较差 图()展示的本文算法结果不仅可以彻底解决退化图像的雾化问题而且结果未出现光晕、色偏、低对比度等现象相较于对比算法在视觉上更接近于清晰图像.客观评价针对合成的、及 数据集选择峰值信噪比()和结构相似性()来作为客观定量评价指标计算本文算法和对比算法的指标大小并取平均值结果如表 所示 所提方法的 和 指标的平均值分别达到了.和.表明本文方法处理后的图像不仅能在完成去雾工作的同时较好地保留细节信息而且不增加额外噪声针对真实数据集()本文选择自然图像质量评价指标()和空间光谱熵质量评价()来比较本文和对比算法在真实退化图像上的结果实验结果如表 所示 第 期刘春友等:大气散射模型与关联帧补偿的视频图像去雾及增强表 合成数据评价结果算法/平均/.本文算法.表 真实数据评价结果算法.本文算法.从表 可以看出本文方法的 和 平均值分别为.和.均优于对比算法表明本文方法处理后的真实图像的纹理细节更符合人眼视觉习惯空间颜色更接近真实清晰图像雾天环境下获取的模糊图像会掩盖大量信息因此去除雾化现象的同时增强其纹理、结构等特征信息对后续视觉任务的工作效率起着重要的作用因此使用 算子检测实验将本文和对比算法的结果进行纹理提取证明网络的增强能力如图 所示 可以看出虽然对比算法均有一定的去雾效果但仅提高其视觉效果使用 算子检测后存在丢失原有纹理或细节增强不明显等问题如图 中红框所示 本文算法不仅可以提升其视觉效果而且还可以增强马路标识、车辆轮廓等细节信息为后续视觉任务提供良好基础图 检测对比结果.消融实验为进一步证实本文所提不同模块在去雾表现中的有效性使用 数据集进行消融实验结果如表 所示 模型 表示采用普通编解码器网络去雾的结果模型 表示在模型 的基础上添加多维空间权重注意力模块模型 表示将模型 改进为文章中提到的参数估计子网络与大气散射模型相结合的形式 由于关联帧补偿方法用于视频图像去雾不适合在 等数据集上进行指标测试因此相关实验将在.节中展示表 不同模块对算法性能的影响模型/模型.模型.模型.本文算法.视频实时去雾当一段退化视频输入网络时首先对其进行帧拆分然后对退化帧按序处理并将输出帧进行实时拼接融合实验选取每隔 帧的 帧图像来展示本文视频处理效果如图 所示 其中图()为退化帧左下角的红色数字表示对应的帧数 可以看出去雾后的视频相较于退化视频色彩饱满纹理清晰能够较清楚地显示路况及车辆信息没有出现光晕或模糊等现象为证明本文方法可提高后续视觉任务的工作效率使用基于()的车辆识别算法对退化与输出视频分别进行检测如图 所示 其中:图()为退化视频及检测结果图()为处理后视频及检测结果 从图 中红框可以看出经过本文算法处理后的视频不仅能提高算法对车辆的识别准确度还可以增加识别数量 此外处理后的视频还能够解决误检问题 信 息 工 程 大 学 学 报 年图 实时去雾效果图 车辆检测结果 综合上述实验本文算法可以解决退化图像及视频的雾化问题增强纹理、轮廓等细节信息相较于对比算法更适用于恶劣天气下图像清晰化任务此外该算法还可以对每秒 帧的视频实现实时处理有效提高后续视觉任务的工作效率 结束语本文提出多维空间权重注意力模块使网络主干分支传递信息同时注重不同尺度的权重信息有效保证了信息传输的完整性以大气散射模型为基础提出参数估计子网络来提取相关参数解决了传统方法对参数估计不准确的问题 设计关联帧补偿策略有效增强所提网络视频去雾能力并加入多项式损失函数来进一步提高网络的处理能力实验结果表明相较于对比算法该方法处理速度较快去雾及增强效果较好更适用于真实环境下雾天图像及视频清晰化任务处理退化视频时能够实现每秒 帧视频的实时处理 后续将考虑进一步提高算法处理速度参考文献:洪毕辉李文彬朱炜等.基于改进的 算法目标检测研究.兵器装备工程学报():.朱鑫陈庆彩王擎雯等.西安市大气颗粒物中棕碳的吸光性研究.大气与环境光学学报():.():.王一璇黎英.交通视频图像去雾算法研究.电子测量技术():.王科平杨艺费树岷.雾霾图像清晰化算法综述.智能系统学报():.():.潘健鸿高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法.南京理工大学学报 第 期刘春友等:大气散射模型与关联帧补偿的视频图像去雾及增强():.崔建伟王冬青刘金燕.基于均值滤波和小波变换的单幅图像去雾算法.计算机与数字工程():.蒋华伟杨震张鑫等.图像去雾算法研究进展.吉林大学学报(工学版)():.李梦蕊柳晓鸣常婧.基于颜色衰减先验的自适应 去雾算法.计算机仿真():.():.王智文李绍滋.基于多元统计模型的分形小波自适应图像去噪.计算机学报():.钱旭淼段锦刘举等.基于注意力特征融合的图像去雾算法.吉林大学学报(理学版)():.:.():.肖进胜申梦瑶雷俊锋等.基于生成对抗网络的雾霾场景图像转换算法.计算机学报():.:.陈志恒严利民陆斌.一种快速高效的实时视频去雾算法.激光与光电子学进展():.陈清江张雪柴昱洲.基于卷积神经网络的图像去雾算法.液晶与显示():.:.(.):.袁哲菲张连海杨绪魁等.基于改进自注意力机制的说话人分割聚类.信息工程大学学报():.:.():.唐斌马思根陈清容等.一种基于全变分滤波的单幅图像快速去雾算法.计算机应用与软件():.王玥周城熊承义等.基于纹理自适应全变分滤波的图像分块压缩感知优化算法.计算机科学():.():.:.:.:.:.:.王延年刘妍妍杨恒升等.基于双注意力机制的雾天图像清晰化算法研究.光电子激光():.():.:():.李俊晖石守东谢志军等.基于边缘重建的双绞线绞距实时检测方法.仪器仪表学报():.():.(编辑:李志豪)信 息 工 程 大 学 学 报 年