AL-GAN：一种融合注意力机制的轻量级GAN水下图像增强模型.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:作者简介:冯建新()女博士副教授:.通信作者:韩亚军()男硕士研究生:.:./.:一种融合注意力机制的轻量级 水下图像增强模型冯建新韩亚军潘成胜孙传林蔡远航(.辽宁省通信网络与信息处理重点实验室 辽宁 大连.大连大学 信息工程学院 辽宁 大连)摘要:针对水下图像存在对比度低、颜色失真和现有网络模型推理速度慢等问题提出一种融合注意力机制的轻量级 水下图像增强模型 该模型使用 作为判别网络生成网络在 模型基础上使用轻量化模型 替换原 特征提取网络中参数量极大的 模型作为特征提取模块提取水下退化图像特征使网络模型参数量减少加快了网络模型的推理速度 进一步在特征提取模块引入通道和空间注意力机制增强了网络特征提取能力达到了增强图像细节的目的 在 数据集上进行实验结果表明:该方法在处理真实水下图像时有很好的效果 与几种现有方法相比本文中所提方法能够更好地提升对比度修正色偏减少图像细节信息损失在主客观指标上都优于现有方法关键词:水下图像增强注意力机制轻量级生成对抗网络本文引用格式:冯建新韩亚军潘成胜等.:一种融合注意力机制的轻量级 水下图像增强模型.兵器装备工程学报():.:.:.():.中图分类号:文献标识码:文章编号:():(.):.:引言海洋有着很多重要的信息资源这些信息资源对研究海洋生物以及勘探资源有着重要的意义因此安全可靠地获取海洋信息资源非常重要 然而海洋环境不同于陆地水下环境情况复杂且可见光在水下会遇到吸收和散射等问题这些会造成采集到的水下信息(如视频或图像)会出现偏色、细节模糊等问题这类问题会对后续水下目标跟踪和检测造成严重的影响 因此需要提高水下图像质量消除偏色、细节模糊等问题用于图像增强的方法根据成像模型不同可以分为物理模型和非物理模型 种 水下图像增强的物理模型是根据光学原理建模主要进行去噪和颜色校正如暗通道先验()水下 等 水下图像的精确恢复取决于模型的先验知识然而先验知识在水下场景不同时往往鲁棒性较弱从而会导致严重的估计偏差 同时在实际应用中水下深度和光传播系数基本参数也很难获得 水下图像增强的非物理模型不考虑水下图像的物理退化机制它是通过修改退化图像的具体像素值增强图像效果主要增强方法如直方图滑动拉伸、多尺度融合等 此类方法不依赖于物理成像模型因此这些方法通常不足以恢复原始场景特征尤其是颜色特征由于深度学习可以实现复杂非线性系统的端到端建模能够提高感知图像的质量目前已经在去噪、去模糊、感知增强和对比度调整等低级视觉任务中取得了令人信服的成功 尤其是近些年生成对抗网络()发展迅速因此越来越多的研究人员将目光转移到了应用深度学习进行水下图像增强的研究中 等提出了一种无监督生成对抗网络 实现对单目图像水下偏色问题的矫正它具有很好的实时性 等用扩充数据集方法提出适用于水下场景的()解决了水下图像数据集缺乏问题并且能够有效地提升水下图像的对比度和清晰度 等提出了一种基于 实时性很高的水下图像增强模型 该模型根据图像的整体内容、细节样式、风格和局部纹理信息建立损失函数可以实时增强水下图像网络模型推理速度较快但是针对不同的水体情况处理效果不好例如过度增强或增强不足同时模型鲁棒性会降低 等改进原有生成对抗网络为了避免图像细节模糊通过引入梯度损失锐化图像边缘提高图像清晰度但是在处理偏色问题上会有颜色失真问题 等提出一种端到端的水下生成对抗网络 能够完成单个水下图像深度预测进一步提出了一种用于大规模数据库合成水下图像生成方法 网络模型在 框架生成网络中使用 模型作为编码器虽然图像增强效果较好但模型参数量较大网络模型的推理速度很慢上述基于 的模型直接学习退化图像到清晰图像的映射针对不同水体情况无法做到增强水下图像质量的同时提高网络模型的推理速度 为了做到增强不同水体的水下图像质量兼顾网络模型推理速度的提升本文中提出了一种融合注意力机制的轻量级 模型以下是本文中的主要研究内容:)提出了一种轻量级 模型生成网络在 模型基础上使用 替换原 生成网络参数量极大的 模型减少了模型参数量从而解决生成网络推理速率慢的问题 与其他模型比较推理速度提高了.倍)在特征提取网络中引入了通道和空间双重注意力机制实现了去除水下图像颜色干扰和增强图像细节的目的)所提出的模型在数据集上表现出更好、更稳定的性能 在 数据集上与其他算法相比水下图像评价指标()提高约.自然图像评价指标()降低约.网络结构网络模型包括生成网络和判别网络 部分如图 所示 本文中生成网络的输入为水下退化图像判别网络的输入为生成图像和地面真实图像 在模型训练阶段生成网络和判别网络互相监督循环交替训练更新网络模型的参数最终训练出高性能并且稳定的生成网络用生成网络来增强水下图像是一个包含上采样和下采样的全卷积网络它通过在上采样过程中组合不同下采样的特征重新构建清晰图像 我们的生成网络受 结构启发设计为 层编解码结构编码器模块由深度可分离卷积模块和注意力模块组成解兵 器 装 备 工 程 学 报:/./码器模块由多个上采样卷积模块组合而成 为了减少网络在下采样期间造成的信息丢失 型网络连接编码器输出作为解码器输入 判别网络模型通过定义 实现.生成网络模型.编码器模块根据 模型体积小、精度高特性深度可分离卷积作为 的核心组件由深度卷积和逐点卷积组成 在编码器模块中使用深度可分离卷积替换普通卷积深度可分离卷积用于特征提取的卷积大小为 用来调整通道数的卷积块大小为 注意力模块由通道注意模块()和空间注意模块()组成 输入图像的特征首先通过卷积模块提取出来然后再输入到 得到输入特征的权重分布图权重分布图可以显示输入图像信息的重要度 侧重于输入特征信息在哪里更重要 种注意机制结合增强了网络的学习功能使网络更加注重水下图像退化严重部分的信息从而能够更好地增强图像本文中 结构如图 所示编码器模块经过前 层卷积模块后接入 注意力模块卷积模块的每一层先是使用大小 步长为 的深度卷积提取特征然后用 卷积调整通道数每个卷积层后面连接的是归一化 及 激活函数 为探寻注意力机制和深度可分离卷积模块的最优组合在.节进行了生成网络结构设计实验实验结果表明前 层卷积模块和 组合结构是最优组合.解码器模块解码器由 个上采样卷积模块组成解码器中前 个卷积模块的每一层采用大小为 的滤波器卷积步长为 在每个卷积层之后添加 和激活函数 最后一个卷积模块将特征图转换为 输出图像图 网络模型结构.图 通道空间注意力模块.判别网络模型本文中判别网络使用马尔可夫鉴别器()与常规鉴别器不同 输入是当前输入图像 的地面真值图像 和其经过生成网络处理得到的输出图像 输出大小为 特征矩阵这在判断之前就将图像进行了小块分割从而提高了鉴别器精度同时也促使网络在训练过程中可以获得更多的细节信息 本文中判别网络前 层使用 的卷积层并进行 倍下采样在每一卷积层后添冯建新等:一种融合注意力机制的轻量级 水下图像增强模型加 层和 激活层最后一层在卷积层后添加 激活层 个卷积层将 的输入图像(生成图像和真实图像)转换为 的输出输出矩阵的每一个元素都表示输入图像的一个感受野从而可以更好地捕获图像局部特征如局部纹理和细节形式判别网络结构如图 所示图 判别网络结构.损失函数为了更好恢复图像视觉效果同时尽可能保留细节特征损失函数包括对抗损失、全局相似性损失、内容损失 个方面损失函数定义如下:()()式()中:为对抗损失函数为全局相似性损失函数为内容损失函数、为平衡各项损失函数的权重因子其中.和 分别表示生成网络和判决网络.对抗损失 传统 损失函数是基于散度做优化但是在这种优化下网络损失训练会很不稳定会带来梯度消失等问题这种问题会导致模型训练崩溃 因此使用带有梯度惩罚的()对抗损失函数表示为()()()()()式()中:为生成图像与目标图像对应点之间直线上的样本是梯度惩罚的权重与文章保持一致设为、分别表示整体网络的输入图像 和输出图像.全局相似性损失 由于 损失不容易引入模糊所以使用输出图像 与生成网络输出图像 之间 距离优化鉴别器从而保证图像信息的一致性其定义如下:()().内容损失 为使生成图像更加真实提升增强图像的视觉效果在目标函数中添加内容损失本文中使用感知距离作为内容损失形式 引入 预训练网络通过提取第 次最大池化前第 个卷积层输出的高级特征构造内容损失定义如下其中 代表网络提取到的高级特征()()()实验设计.实验参数本文中实验是基于 深度学习框架实现的实验 为 ()().为 训练模型的优化器采用 批处理大小 为 初始学习率设为 一共 个 每 个 学习率乘以.衰减 次 全局相似性损失权重系数 为.内容损失权重系数 为.生成网络结构从训练过程和训练结果出发对生成网络 框架编码器部分 模块和卷积模块进行组合训练测试 选择 和网络模型推理速度作为衡量网络性能指标 针对不同的 模块与下采样卷积模块组合表 是采用 数据集中相同测试集进行测试得到的性能其中 表示第层卷积模块与 模块组合 表示第 层卷积模块与 模块组合 和 同理从表 可以看出第 层卷积模块与 模块组合方案 在模型推理速度上与 相当略高于 远低于 但其 为.说明 在处理图像效果上明显优于其他组合表 单层卷积模块和 组合结果对比 组合形式/.表 为 层上采样卷积模块和 组合的测试结果从表 可以看出 层卷积模块与 组合方案明显比单层卷积模块与 结合方案效果好其中 的 可达.但是模型推理速度相对变慢 为.兵 器 装 备 工 程 学 报:/./表 两层卷积模块和 组合结果对比 组合形式/.表 为/层上采样卷积模块和 组合方案的测试结果 从表 可以看出/层卷积模块和 组合方案的 比 层组合更优但同时模型推理速度也变慢 层卷积模块与 组合方案和每一层卷积模块都与 组合方案相比 值几乎一致其中 方案推理速度为.最快该值与 层采样卷积模块和 组合方案相近表 层卷积模块和 组合结果对比 组合形式/.综上所述从推理速度和图像效果出发本文中生成网络确定采用 方案即前 层卷积模块与 组合方案构造生成网络的编码器.损失函数性能图 和图 是在对抗损失、全局相似性损失、内容损失 个方面构造损失函数的性能分析 其中为 种损失函数组合 为对抗损失函数与全局相似性损失函数组合 为对抗损失函数与内容损失函数的组合 为迭代次数 为损失函数值 从图 可以看出只使用对抗性损失函数训练时震动幅度大收敛过程不稳定所需要循环次数多 采用 种损失函数组合形式的训练过程更加平稳离散程度更小从图 可以看出曲线、曲线表现相近且损失函数值明显低于 曲线 但随着迭代次数增加 曲线收敛后又出现了小幅度的波动曲线相比于 曲线更加稳定 综上所述使用 种损失函数组合具有更好、更稳定的性能 此外从峰值信噪比()和结构相似性()可知 种损失函数组合 的 是.是.明显高于其他损失函数组合因此本文中损失函数考虑对抗损失、全局相似性损失、内容损失 个方面损失函数为 种损失函数组合 如式()所示图 种损失函数训练过程对比.图 种损失函数训练过程对比.表 为不同损失函数组合训练出的模型在评价指标上的实验结果对比表 不同损失函数组合评价指标实验结果对比.损失函数组合形式.结果与讨论选用水下公开数据集 验证本文中算法的有效性 数据集包含 多对水下图像和其对应的地面清冯建新等:一种融合注意力机制的轻量级 水下图像增强模型晰图像选取其中 幅水下图像和其对应的清晰图像作为训练集 将本文中算法和传统算法、深度学习算法从主客观两方面做对比由实验结果可知本文中算法在复杂情况下的水下图像增强效果更好.主观评价为了验证本文中算法对水下真实图像增强效果测试数据随机选取 张真实水下图像 图 为测试数据部分图像在不同算法上的效果图对比的传统算法包括水下暗通道先验()基于图像模糊的水下图像恢复()基于快速场景深度估计模型的水下图像恢复()对比的深度 学 习 算 法 包 括 基 于 对 抗 的 水 下 图 像 增 强 网 络()基于残差网络的生成模型()基于 网络的快速水下图像增强()图()为输入图像图()为真实水下图像图()图()分别是、以及本文中方法的处理结果图 可见本文中方法相比于其他方法结果更加贴近真实图像解决了水下图像由于水体原因造成的偏色问题处理得到的图像有更高的对比度和清晰度色彩更加鲜艳图 不同方法处理结果对比.客观评价客观地分析和评价算法性能使用水下图像质量指标 和自然图像评价指标 作为评价指标 是由水下图像色彩测量 水下图像清晰度测量 水下图像对比度测量 个评价指标组成的 的值越大表明图像的质量越高其计算公式为 ()根据文献设置.无须利用人眼评分的失真图像进行训练 相比于传统评价指标 和 能更有效地反映图像重建的质量 指标的值越小表明图像的质量越高其计算公式为()()()()式()中:和 分别表示自然多元高斯模型和失真图像多元高斯模型的均值向量和分别表示自然 模型和失真图像 模型的协方差矩阵对 张水下图像进行评估表 为各种方法处理图像的评价指标 和 可以看出经本文中算法处理的图像评价指标最优 与 种对比算法相比本文中算法处理的图像 明显得到提升同时 明显降低 与 算法相比 提升了约.降低了约.兵 器 装 备 工 程 学 报:/./表 和 的定量比较 本文.综上所述根据各种算法在无参考图像质量评价指标 和 上的对比证明本文中算法能够更好的恢复水下图像提高了图像的清晰度和对比度.消融实验表 为采用 模型做编码器和本文中编码器在处理单幅图像所需时间 随机选取 张图片分别在 和 为编码器的网络中测试结果表明本文中编码器比 编码器运算速度提高很大表明 替换 的有效性表 不同编码器运行时间对比()()编号.图 为有无 模块处的图像对比从图 前 列对比图可以看出无 模块处理的图像较有 模块处理的图像虽然解决了水下图像偏绿色问题但是增强后的图像明显出现偏黄 从后面 列对比图可以看出无 模块处理的图像在细节上虽然得到增强但是相比于有 模块处理仍然有模糊问题 有 模块处理的图像不仅解决了色偏问题而且清晰度也得到提升因此本文中模型引入了 模块图 有无通道空间注意力模块结果对比.表 用客观指标 和 进行了分析实验结果如表 所示 从表 可见有 模块处理的图像 明显比无 模块处理的高同时 明显更低定量说明有 模块处理的图像质量更高表 有无 模块/评价指标结果对比 /序号无 模块有 模块././././././././././.平均值././.运行时间进一步为验证本文中提出的 水下图像增强模型轻量化特征对方法运行时间进行了估计处理其中、和 是基于深度学习的方法结果如表 所示 该结果为 处理 张大小 图像所需要的时间可以看出本文中方法虽然不是最快的但是处理时间与 相当 结论本文中提出一种 水下图像增强模型 实验结果表明相比与对比算法本文中提出的水下图像增强模型 提高了约.降低了约.说明本文中模型能够更好地增强图像细节提升图像的对比度和清晰度对于水下图像增强效果表现最优同时网络模型的推理速度同比于其他模型提高了.倍但在不同的水下环境中水下图像退化的程度也会有所不同 严重退化的图像单独使用深度学习网络处理后仍然会有严重的颜色干扰并可能产生冗余噪声点 对深度学习网络添加物理模型可以更好地估计水下图像成像环境进一步通过环境参数约束网络可以更好地恢复出清晰的水下场景图像 在未来的工作中我们将尝试结合物理模型进一步关注退化严重的水下图像处理冯建新等:一种融合注意力机制的轻量级 水下图像增强模型参考文献:./().:./.:./.:.:.():.():.:.():./().:.():.:():.:.:.():.“”.():./().:./().:.郝琨王阔王贝贝.基于改进 的轻量级水下生物检测算法.浙江大学学报(工学版)():.()():.:/().:.:/.:./.:./.:.:/().:.:/:.:.兵 器 装 备 工 程 学 报:/././.:.:/:.:./.:.:.():.:.():.方明刘小晗付飞蚺.基于注意力的多尺度水下图像增强网络.电子与信息学报():.():.科学编辑 杨杰 博士(武汉理工大学 教授)责任编辑 胡君德(上接第 页)尹可卢圣涛任慧麟.采用 自发热改善电路板低温特性.电子技术与软件工程():.():.聂营才晶晶崔燕香等.平流层电动机控制器热特性仿真分析和实验.航空动力学报():.():.中国人民解放军总装备部.机载电子设备通用指南:/.北京:总装备部军标出版发行部.:/.:.王永康张洁张宇等.电子散热基础教程.北京:电子工业出版社.:.:.():.:.科学编辑 柯宏发 博士(航天工程大学 教授、博导)责任编辑 唐定国冯建新等:一种融合注意力机制的轻量级 水下图像增强模型