基于注意力机制的轻量级水下图像风格迁移方法.pdf

第 卷第期 年月杭州师范大学学报（自然科学版）（）收稿日期：修回日期：基金项目：浙江省基础公益研究计划项目（）通信作者：王奔（），男，教授，博士，主要从事物联网、智慧城市的应用技术研究 ：犱 狅 犻：基于注意力机制的轻量级水下图像风格迁移方法王希雅，王奔（杭州师范大学信息科学与技术学院，浙江 杭州 ）摘要：目前，获取海洋素材的途径稀少，数据集缺失，质量相对较低，是海洋生态环境保护宣传、水下图像应用设计的重大难题之一本文将基于深度学习的图像风格迁移技术与白化现象严重的水下图像进行结合，引入 轻量级编码器网络，通过低秩卷积、压缩模块和全连接操作，在不影响模型准确率的条件下减少模型参数冗余，减少模型计算量同时，本文还进一步引入了关系感知全局注意力转换网络，结合特征和特征位置的相关性更有效地平衡全局和局部结构信息此外，在损失函数中加入 色相损失函数，通过色相值的计算来衡量颜色的距离，由此更好地表示颜色的相近关系通过学习图像的内容、风格等特征进行照片风格迁移，解决海洋图像设计素材短缺、图像质量低等问题，从而增加水下图像样式的多元性、素材的丰富性以及资源的拓展性关键词：风格迁移；编码器解码器；注意力机制；损失函数中图分类号：文献标志码：文章编号：（）研究背景及意义现代科学通常会通过水下环境图像来了解当前海域水下生态环境的变化发展，同时为海洋生态环境宣传提供丰富的素材然而海洋资源持续衰减，海洋的生态环境不断被破坏，海洋中的动物、植物等都受到了不同程度的伤害，白化现象日渐显著，给人类研究和认识海洋信息带来巨大的阻碍和挑战目前，无论是在水下图像增强领域还是水下图像目标检测领域都需用到水下图像数据集，然而，公开的水下图像数据集数量少且图像也少，不利于研究的开展此外，由于海洋环境复杂多样、水下光照条件有限，导致获取到的水下图像清晰度和图像质量都较低，不利于对海洋素材的整合和利用因此，通过风格迁移技术与现代表现手法相结合，来获取具有丰富艺术生命和符合真实情况的海洋素材，成为目前主要的研究课题随着风格迁移应用领域逐渐广泛、应用场景逐渐复杂，这些任务对卷积神经网络性能的要求也越来越高为了获得更好的性能，就要不断地加深网络的深度或者增加模块的复杂程度与此同时会带来两个问题，首先是存储参数庞大，需要耗费大量存储资源，其次是运行时间，只有毫秒级的运行时间才能满足实际应用的要求除了对模型提出更高要求之外，对网络学习性能也提出了一定的要求在图像视觉任务中，网络模型往往需要通过快速扫描全局图像来获得需要关注的目标区域，而这过程中如何高效分配有限的注意力资源也成为一大难题在此基础上，照片风格迁移更加重视图像色彩分布和色彩平衡，因此，网络模型除了要提升模型运行效率，保留内容主体结构之外，更要结合风格图像的色彩风格，生成既真实又美观的迁移图像为解决上述问题，本文尝试将基于深度学习的图像风格迁移技术与白化现象严重的水下图像进行结合，提出一种基于关系感知全局注意力的轻量级水下图像照片风格迁移方法通过引入 轻量级编码器网络，在不影响模型准确率的条件下减少模型参数冗余，提高模型计算的效率同时，引入了关系感知全局注意力转换网络，结合特征和特征位置的相关性更有效地平衡全局和局部结构信息此外，在损失函数中加入 色相损失函数，通过色相值的计算来衡量颜色的距离，由此更好地表示颜色相近的关系通过学习图像特征结合注意力机制等方法进行真实感的水下图像风格迁移，以解决水下图像设计素材短缺、数据集缺少和图像质量差等问题，从而增加水下图像样式的多元性、素材的丰富性以及资源的拓展性基于关系感知全局注意力的轻量级水下图像照片风格迁移算法 模型构建由于编码器解码器架构拥有“图到图”转换的优势，本章基于编码器解码器构建了如图所示的风格迁移模型，该模型主要由 轻量级网络、关系感知全局注意力、动态实例归一化和损失函数模块组成其中 用于内容编码，减少网络参数量和计算成本；关系感知全局注意力用于增强特征的表示能力；模块参数根据不同的风格自适应地改变，能更精确地对齐复杂风格的特征统计信息；损失函数用于对风格迁移网络进行迭代优化图网络结构犉 犻 犵 犖 犲 狋 狑 狅 狉 犽狊 狋 狉 狌 犮 狋 狌 狉 犲 轻量级编码器网络图犛 狇 狌 犲 犲 狕 犲 犖 犲 狓 狋网络结构犉 犻 犵 犛 狇 狌 犲 犲 狕 犲 犖 犲 狓 狋狀 犲 狋 狑 狅 狉 犽狊 狋 狉 狌 犮 狋 狌 狉 犲本文选择 网络结构如图所示，其主要操作有如下几个步骤：）低秩卷积核低秩分解设计的核心就是用小矩阵近似代替大矩阵，这样极大地减少了网络的参数数量，同时增加了网络的深度；）模块压缩深度卷积虽然确实能够减少计算量，但是实际在终端设备上的运行效率并不高，通过模块压缩有效地减少参数量，提高模型运算效率；）全连接层 相比于 中全连接层占比极高的参数量，通过瓶颈层压缩全连接层的输入维度减少了网络的参数量由图橙色部分可以看出，网络将犓犓卷积分解为两个大小分别为犓和犓的可分离卷积，有效地将参数的数量从犓减少到犓，并且在减少参数量的同时增加了网络的深度杭州师范大学学报（自然科学版）年 关系感知全局注意力本章引入的“关系感知全局注意力”（，）模块，如图所示在全局的结构信息上，能够进行有效的获取和高效的利用 模块利用浅层卷积来学习注意力，核心是通过特征计算连接，将成对相关性亲和力与其叠堆起来，来获取更全面和丰富的全局结构信息和局部信息，从而学习到更容易判别的高质量显著特征图关系感知全局注意力模块结构犉 犻 犵 犜 犺 犲 狊 狋 狉 狌 犮 狋 狌 狉 犲狅 犳 狉 犲 犾 犪 狋 犻 狅 狀 狊 犺 犻 狆犪 狑 犪 狉 犲犵 犾 狅 犫 犪 犾 犪 狋 狋 犲 狀 狋 犻 狅 狀犿 狅 犱 狌 犾 犲 损失函数 色相损失函数 颜色模型适合用于表示颜色相近的关系并衡量颜色的距离，但是在计算机中的图片主要使用 模进行图片的存储和表示，所以需要将图片的 表示模式转化为 模式，转换的公式为犎，；犌犅 ，犚 犅犌；犌犅 ，犚 犌犅；犌犅 ，犌；犌犅 ，犅烅烄烆（）其中犚、犌、犅分别为该图像点的 颜色量的分值，和 为犚、犌、犅个值中的最大值和最小值为了使生成的迁移图像保持内容图像原有的色相特征，所以考虑只使用 颜色模型中的色相（）维度，来平衡颜色相似度颜色损失函数的定义为犾 狀狀狀犻狀犼（犺犻，犼犺犻，犼）（）其中犺犻，犼和犺犻，犼分别表示风格图像和生成图像在像素点处的色相值 总损失）内容损失假设第犾层 网络犆犾有个大小的特征图犎犾和犠犾分别表示犾层特征图的高和宽犾层的响应可用矩阵表示为犉犾犚（犎犾犠犾）犆犾（）内容损失通过计算内容图像在 网络第犾层的特征图和合成图像之间的欧氏距离的平方获得，即第期王希雅，等：基于注意力机制的轻量级水下图像风格迁移方法犾 （犎犾犠犾）犆犾犉犾（狔）犉犾（狔犮）（）风格损失通过计算风格图像和转换图像在 网络中特征图的 矩阵的犉范数的平方得到风格损失，其计算过程如下：犾 犌犾（狔）犌犾（狔犛）犉（）其中，狔为转换图像；狔犛为风格目标图像；犌犾为 矩阵，大小为犌犾犌犾）总损失本文模型的总损失犾 将内容损失、风格损失、色相损失和全变差正则化损失合并为一个线性函数，即犾 犾 （狔，狔犮）犾 （狔，狔狊）犾 （狔，狔狊）犾（）其中狔，狔犮和狔狊分别为转换图像、内容图像和风格图像；，和分别为内容损失、风格损失和自适应加权损失的惩罚系数全变差正则化犾 用来增加合成图像的平滑性实验结果分析 实验环境及模型训练 实验环境本文实验环境如表所示表实验运行环境犜 犪 犫 犈 狓 狆 犲 狉 犻 犿 犲 狀 狋 犪 犾 狅 狆 犲 狉 犪 狋 犻 狅 狀犲 狀 狏 犻 狉 狅 狀 犿 犲 狀 狋学习模式实验运行环境学习模式实验运行环境 版本 深度学习框架 数据集选取内容图像数据集来自于 水下图像数据集，并于网络爬虫所得 余张水下图片，共同组成本实验的数据集水下图像数据集部分图像如图所示图水下图像数据集部分图像示例犉 犻 犵 犘 犪 狉 狋 犻 犪 犾 犻 犿 犪 犵 犲 犲 狓 犪 犿 狆 犾 犲 狊狅 犳狌 狀 犱 犲 狉 狑 犪 狋 犲 狉 犻 犿 犪 犵 犲犱 犪 狋 犪 狊 犲 狋杭州师范大学学报（自然科学版）年 模型训练由于使用 轻量级内容编码器代替了主流的 ，因此分别从模型参数、模型执行一次所占内存、浮点运算数（）、模型大小和模型运行时间对模型进行评价，并与 进行对比，结果如表所示表模型对比犜 犪 犫 犕 狅 犱 犲 犾 犮 狅 犿 狆 犪 狉 犻 狊 狅 狀模型模型参数内存 模型大小运行时间 从表中数据可以看出，在模型参数、模型执行一次所占内存、浮点运算数、模型大小方面较 小 以上，证明本算法使用的轻量化网络在减少模型参数量，提升模型运算效率等方面的有效性因此本模型对硬件设备的要求更低，更容易部署在移动设备上，实现轻量化的图像风格迁移 模型超参数配置本章提出的基于关系感知全局注意力的轻量级水下图像照片风格迁移方法超参数配置如表所示表基于关系感知全局注意力的轻量级照片风格迁移方法训练参数犜 犪 犫 犜 狉 犪 犻 狀 犻 狀 犵狆 犪 狉 犪 犿 犲 狋 犲 狉 狊狅 犳 犾 犻 犵 犺 狋 狑 犲 犻 犵 犺 狋狆 犺 狅 狋 狅狊 狋 狔 犾 犲 狋 狉 犪 狀 狊 犳 犲 狉犿 犲 狋 犺 狅 犱犫 犪 狊 犲 犱狅 狀狉 犲 犾 犪 狋 犻 狅 狀狆 犲 狉 犮 犲 狆 狋 犻 狅 狀犪 狀 犱犵 犾 狅 犫 犪 犾 犪 狋 狋 犲 狀 狋 犻 狅 狀照片信息训练参数 优化算法 初始学习率 图像尺寸 损失函数权重（，），和 可视化对比实验本实验的对比算法主要选取了 算法、算法、和 通过特征装饰进行多尺度零样本风格迁移；通过平衡全局和局部风格模式进行风格迁移；将编码器和解码器中的下采样和上采样都换成了小波采样；基于内容泄漏问题提出无偏样式风格迁移 实验图像可视化对比照片风格迁移是在保留内容图像结构和细节的基础上，将图像的色调风格迁移成风格图像色调，因此对于生成图像来说，既要重视图像色调的迁移，保证图像的美观度，也要重视图像内容主体结构，保证图像的真实性如图所示，从内容角度来看，存在明显的失真，部分内容语义信息出现明显的风格错误；内容结构与原图较为一致，但在图像纹理上缺乏一定的美观度；结构主体保留得相对较好，只在部分内容细节处出现了一点伪影；内容结构较为突出明显，较好地区分了语义信息从色彩角度来看，生成图像的色彩明暗关系和色彩饱和度都与风格图像存在较大差异；视觉质量较差，和 图像颜色与风格图像存在一定的差异；色调迁移的效果较好，但在色彩细节处仍有明显的失真，如 海水的高亮区颜色偏黄；色调美观度较差，视觉感受不平衡本文方法在内容结构上，通过引入关系感知全局注意力，增强全局和局部的结构特征，更好保证了内容轮廓和内容细节的完整性；在色彩层次上，通过引入 色相损失函数平衡生成图像和风格图像的颜色相似度，在实现图像整体色调迁移的同时更好把握细节处的色彩第期王希雅，等：基于注意力机制的轻量级水下图像风格迁移方法图可视化对比实验犉 犻 犵 犞 犻 狊 狌 犪 犾 犮 狅 狀 狋 狉 犪 狊 狋 犲 狓 狆 犲 狉 犻 犿 犲 狀 狋 消融实验）关系感知全局注意力消融实验将本节算法与消除关系感知全局注意力机制后的生成图像进行对比，结果如图所示在去掉关系感知全局注意力之后，大鱼的主体轮廓边缘出现纹理扭曲的现象，且海水区域也存在纹理色块斑驳，其图像清晰度和图像视觉感受都远不如加入注意力机制后生成的图像而通过增加关系感知全局注意力模块，结合了全局和局部的信息后，生成图像即能展示出更好的特征表示能力，避免细节的不清晰和纹理的斑驳图关系感知全局注意力消融实验犉 犻 犵 犚 犲 犾 犪 狋 犻 狅 狀 狊 犺 犻 狆狆 犲 狉 犮 犲 狆 狋 犻 狅 狀犵 犾 狅 犫 犪 犾犪 狋 狋 犲 狀 狋 犻 狅 狀犪 犫 犾 犪 狋 犻 狅 狀犲 狓 狆 犲 狉 犻 犿 犲 狀 狋图犎 犛 犞色相损失消融实验犉 犻 犵 犎 犛 犞犺 狌 犲 犾 狅 狊 狊犪 犫 犾 犪 狋 犻 狅 狀犲 狓 狆 犲 狉 犻 犿 犲 狀 狋杭州师范大学学报（自然科学版）年）色相损失消融实验本节算法与消除 色相损失函数后的生成图像对比结果如图所示在去掉 色相损失之后，生成图像不能很好地迁移风格图像的色调且图像色彩饱和度较低加入 色相损失函数后，更好地平衡图像的颜色相似度，从而极大地提升了风格迁移的色彩美观度）消融实验定量指标对比本文使用峰值信噪比（）和结构相似性（）这个指标进行图像的消融实验定量指标对比，指标作为评价图像的客观标准，指标用于评价图像的结构相似性，两者值越大表示图像的质量越高注意力消融实验和色相损失消融实验图像的 和 指标数值对比如表所示，其实验数据证明了本章加入的关系感知全局注意力和色相损失函数在风格迁移上的有效性表消融实验犘 犛 犖 犚和犛 犛 犐 犕定量指标对比犜 犪 犫 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳狇 狌 犪 狀 狋 犻 狋 犪 狋 犻 狏 犲 犻 狀 犱 犲 狓 犲 狊狅 犳犘 犛 犖 犚犪 狀 犱犛 犛 犐 犕犻 狀犪 犫 犾 犪 狋 犻 狅 狀犲 狓 狆 犲 狉 犻 犿 犲 狀 狋消融实验 消融实验 未使用注意力机制 未使用色相损失函数 使用注意力机制 使用色相损失函数 定量指标对比实验 定量指标数值对比如表所示，定量指标数值对比如表所示从可视化图像中可以看出 图像清晰度和迁移效果较差，因此 和 值也较低；和 色彩层次不鲜明，局部语义失真，和 值较为平均；需要对图像进行语义分割，和 值相对较高，但局部内容细节风格溢出而本文方法更好地关联全局和局部结构特征，更高地保留内容语义信息，色彩层次丰富，结构轮廓清晰，图像质量更高，因此 和 值也更高表犘 犛 犖 犚定量指标对比犜 犪 犫 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳犘 犛 犖 犚狇 狌 犪 狀 狋 犻 狋 犪 狋 犻 狏 犲 犻 狀 犱 犻 犮 犪 狋 狅 狉 狊图像 表犛 犛 犐 犕定量指标对比犜 犪 犫 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀狅 犳犛 犛 犐 犕狇 狌 犪 狀 狋 犻 狋 犪 狋 犻 狏 犲 犻 狀 犱 犻 犮 犪 狋 狅 狉 狊图像 总结本文将基于深度学习的图像风格迁移技术与白化现象严重的水下图像进行结合，提出基于关系感知全局注意力的轻量级水下图像照片风格迁移方法，通过引入 轻量级编码器网络、关系感知全局注意力转换网络以及在损失函数中加入 色相损失函数进行风格迁移实验证明，本文方法不仅更好地保留了内容的主体结构，并且有效地丰富了图像的色彩层次，提升了水下图像样式的多元性以及素材的丰富性第期王希雅，等：基于注意力机制的轻量级水下图像风格迁移方法参考文献：，：（）：，：，（）：，（）：，：王飞，金玉苹，祖培福基于 颜色模型的图像风格迁移算法电子元器件与信息技术，（）：，：，：，：，（）：，：，（）：，：，：（）：，：犚 犲 狊 犲 犪 狉 犮 犺狅 狀犔 犻 犵 犺 狋 狑 犲 犻 犵 犺 狋犝 狀 犱 犲 狉 狑 犪 狋 犲 狉 犐 犿 犪 犵 犲犛 狋 狔 犾 犲犜 狉 犪 狀 狊 犳 犲 狉犕 犲 狋 犺 狅 犱犅 犪 狊 犲 犱狅 狀犚 犲 犾 犪 狋 犻 狅 狀 狊 犺 犻 狆 犪 狑 犪 狉 犲犃 狋 狋 犲 狀 狋 犻 狅 狀犕 犲 犮 犺 犪 狀 犻 狊 犿 ，（，）犃 犫 狊 狋 狉 犪 犮 狋：，犓 犲 狔狑 狅 狉 犱 狊：；杭州师范大学学报（自然科学版）年