多尺度对称压缩伪影去除神经网络.pdf

第 卷 第 期太原科技大学学报.年 月 .文章编号:()收稿日期:基金项目:国家自然科学基金()山西省科技重大专项()山西省关键核心技术和共性技术研发攻关专项()作者简介:卜东寒()女硕士研究生主要研究方向为视频图像处理与网络传输技术通信作者:李志宏副教授:多尺度对称压缩伪影去除神经网络卜东寒李志宏王安红赵利军(太原科技大学 电子信息工程学院太原)摘 要:图像压缩给图像带来极其复杂的压缩伪影不仅影响人类的视觉感知还会给目标检测等重要领域带来极大的负面影响 为了解决这一问题提出了一个多尺度对称网络()来去除压缩伪影进行压缩后图像的质量恢复在获取基础映射的同时得到更多不同尺度的映射特征利用残差结构更快更好地提取和整合特征信息并且使用一种混合损失函数控制模型训练 实验表明所提网络可以以更少的参数代价更好地恢复图像并且经过实验验证可以提升目标检测的效果关键词:压缩伪影去除卷积神经网络图像恢复中图分类号:文献标识码:./.图像的数据量迅速增加图像压缩与恢复技术面临巨大的挑战 有损压缩如 会引入复杂的压缩伪影尤其是块伪影振铃效应和模糊 不仅影响视觉效果还给目标检测等领域带来极大的负面影响 因此去除压缩伪影在图像处理领域尤为重要 针对压缩伪影去除相关研究人员提出了很多算法 等人提出基于形状自适应离散余弦变换的图像滤波算法但会导致输出图像丢失高频信息 等人提出了基于 的后处理算法去除块效应但仍存在较明显伪影 近年来基于深度学习的算法在各种计算机视觉领域取得了十分优秀的效果 在去除 压缩伪影方面 等人最早提出了一种基于卷积神经网络()的框架但恢复图像仍有一些明显的块效应 等人提出了一种双域多尺度 放大接收域利用像素域和 域的冗余去除 压缩伪影本文提出了一个多尺度对称压缩伪影去除神经网络在原始图像尺寸和小图像尺寸采用对称的网络结构进行特征提取和整合 为了更多恢复出图像的纹理信息并且增加在高层次视觉处理如目标检测中的表现效果本网络同时在感知空间控制模型训练 实验结果表明本文所提算法可以在压缩伪影去除处理中取得更好的性能 所提算法 网络整体结构为了去除压缩伪影本文设计构建了一个基于卷积神经网络的结构框架如图 所示 低分辨率会弱化失真缩小图像可以减小压缩伪影带来的影响所以采用多尺度的多支路结构使得降低分辨率的支路提取到的特征对不改变分辨率支路提取的特征进行信息增强 同时在图像原始尺寸和小尺寸的特征提取过程中输入均为带有压缩伪影的图像输出均是用于恢复重建图像的特征考虑到两条支路输入与输出的一致性两条支路采用相同的网络结构整个压缩伪影去除网络呈现出对称的特点图 中矩形框代表卷积操作卷积核尺寸均为 卷积步长为 在未改变图像尺寸的支路中首先使用一层卷积操作输出大通道特征图再送入多个残差块中进一步增强和处理特征 在改变分辨率的支路中采用步长为 的卷积实现缩小图像同时充分提取图像特征并输出大通道特征图接下来输入多个残差块增强并处理特征将得到的特征图使用 上采样变回原图尺寸 将两条支路的输出在通道维度上进行拼接再经过一个卷积映射回原始图像的通道数 为了加快网络收敛迅速获得图像内容和结构信息本网络整体进行残差学习图 多尺度对称压缩伪影去除神经网络 损失函数本文使用一种复合损失函数进行网络训练如公式()所示主要由三部分构成:损失、损失和 损失 其中 损失函数可以保证重建图像与原始图像之间逐像素的相似性但是单独使用可能会导致输出图像过度平滑 为了更好地保留图像的边缘和细节等高频信息本文结合了 损失提高对图像结构相似性的判断同时可以加快收敛快速获得结构信息 但是使用单一的 损失函数可能会带来亮度的改变或者颜色的偏差与 函数复合使用可以规避这一缺陷 在此基础上加入 损失确保要对比的两幅图像在感知空间有一致性进一步提高模型性能 损失将对比的两图像之间的像素间的误差降至最小如公式()所示 图像尺寸为 表示重建的图像表示原始未压缩的原图()()()()()()()为了避免 损失带来的过度平滑缺少高频信息添加感知损失将重建后图像与原始图像都映射到感知空间对比两图像的感知内容的差异如公式()所示 本文采用了 模型库中添加的预训练好的 网络模型提取用于特征提取的最后一层卷积经过 激活层的输出()作为感知对比减小感知间的差异性()()()()另外在损失函数中增加了一项 损失以便提高结构相似性 结构相似损失函数考虑了亮度、对比度和结构指标可以更好地判断两幅图像视觉上是否更加相似 添加此项损失函数可以不完全依赖于逐像素的相似度排除均值和标准差的影响 损失如公式()所示其中 和 均为常数和 分别表示恢复重建图像和原始图像中的所有像素的均值和 分别表示两幅图像像素值的标准差()()()()()()训练和测试 数据集本网络使用了 数据集作为训练集另外从 中随机选取了 张不同于训练集的图像作为一个测试集在下文中称为 测试集另外还包括 数据集、数据集、数据集中的测试集等具体可参见表 使用标准 压缩方案将压缩参数 设置为、得到压缩数据集 在压缩伪影去除的实验中使用了图像 通道(空间的 通道)和 彩色图像两种方案作为数据集 参数设置和网络训练在训练过程中每个 随机从 数据集中抽取 张图像作为训练集并将其随机裁剪成 的图像进行批次训练减少训练时间 使用 优化器进行模型训练采用等间隔调整的方式进行学习率衰减初始学习率设置为 每 个 学习率的值变为原来的一 太原科技大学学报 年半总共训练 个 损失函数的三个参数值、均设置为 本网络使用 实现训练在 与 上进行测试在 上进行 实验结果 对比实验结果使用 和 给出的官方测试代码和预训练模型进行该算法的测试与本文提出的模型效果进行比较 与 分别将数据集处理成不同的尺寸 不改变原本的数据集而 对数据集进行了裁剪为了比较公平分别用它们的方法处理数据集进行结果对比 客观比较峰值信噪比 是图像处理领域使用极其广泛的评价指标但是它没有考虑到人眼的视觉特性而结构相似性 分别从亮度、对比度和结构三方面度量图像相似性 近些年来关于图像处理方面的研究更加注重于 的对比所以本文主要侧重于 指标进行恢复图像质量评价 是基于 开发的图像处理包在图像处理领域尤其是基于深度学习的图像处理方面具有广泛的应用 为保证比较公平本文中对所有比较方法全部用给出的预训练模型进行测试将得到的结果统一使用 图像处理包计算本文所提模型与 的结果对比如表 所示最优参数用加粗字体表示每个压缩质量参数 中最后一行对应的是每个算法在所有测试集上的平均值 在大部分测试集上本文所提算法的 高于 在所有测试集上本文所提算法的 均优于 本文所提模型与 的结果对比如表 所示最优参数用加粗字体表示每个压缩质量参数 中最后一行对应的是每个算法在所有测试集上的平均值 在大部分测试集上本文所提算法的 优于 而 次于 这是由于 的损失函数全部由 组成表 本文所提算法与 的 与 对比结果 压缩参数数据集模型模型本文算法本文算法 第 卷第 期 卜东寒等:多尺度对称压缩伪影去除神经网络续表 压缩参数数据集模型模型本文算法本文算法 表 本文所提算法与 的 与 对比结果 压缩参数数据集模型模型本文算法本文算法 太原科技大学学报 年续表 压缩参数数据集模型模型本文算法本文算法 表 列举了各个模型的参数量的对比 其中 的模型最小但是在数字度量指标的成绩很低视觉质量有所欠缺 相对更好的是 和本文所提算法但是本文算法模型的参数量仅仅为 的四分之一却可以取得更高的 和视觉质量获得更好的恢复效果表 各个模型的参数量对比 模型本文算法参数量 主观比较图 和图 中展示了测试集中主观视觉对比的部分结果 图中第一列是原始图像第二列是经过 压缩的图像第三列分别是经过 和 恢复出的图像最后一列是本文所提算法的恢复结果展示的均为局部放大图可以看到更清晰的细节内容从图 中的第一幅图像的局部放大图可以看出本文所提算法重建出的图像中的树木枝叶更加分明 相比来说 重建出的图像比较模糊且受块伪影影响较大本文算法可以重建出更加清晰更加丰富的纹理 在第二幅图像的天空部分 的恢复重建结果还有明显的带状效应而本文算法的恢复结果没有明显的过渡边缘比 的结果更加接近原始图像图 本文算法与 的视觉对比 图 本文算法与 的视觉对比 第 卷第 期 卜东寒等:多尺度对称压缩伪影去除神经网络本文算法去除图像压缩伪影的结果比 有更丰富的纹理如图 所示 第一幅图像中老虎身上的条纹对比度更大第二幅图像中恢复出的水花更加明显 目标检测实验验证表 是经过不同处理的数据集在 各个模型上的 对比 此处使用了四个不同大小的模型从小到大依次是、不同的处理分别表示为原始数据集、经过 压缩的数据集和经过本文算法恢复出的数据集 均在 压缩之后下降明显但是在经过本文的恢复算法之后所有模型的 值都会有较大回升图 中第一列是目标检测的标签示意图第二列是原始数据集的目标检测结果第三列是将原始数据集经过压缩之后的检测结果最后一列是使用表 不同处理的数据集在 上的 对比 数据集模型原图 本文算法 本文算法对压缩图像恢复之后的目标检测输出此处使用的目标检测算法是 预训练模型如图 所示图像经过 压缩之后产生了明显的漏检比如第一幅图像中的狗和第三幅图像中的人 第二幅图像中的长颈鹿一只漏检另外一只虽然可以检出但是概率得分从 下降到 经过本文算法恢复之后的检测结果不仅可以提高检出率还可以提高检测概率分数 第三幅图像中有一些小型目标因压缩导致了漏检本文算法恢复后也可以重新检测出来图 经过不同处理的数据集在 模型上的检测结果 结论为了去除压缩伪影本文提出了一个多尺度对称神经网络在原始图像尺寸和小图像尺寸采用对称的网络结构进行特征提取和整合 为了加速网络训练快速获取图像的结构信息本网络采用残差结构同时在感知空间控制模型训练 实验结果表明本文所提算法可以在图像压缩伪影去除处理中取得更好的性能并且可以在一定程度上对抗压缩伪影给目标检测领域带来的负面影响参考文献:.():.太原科技大学学报 年 .():.():.吴贺贺王安红王海东.基于 的隧道图像裂缝检测.太原科技大学学报():.都胡平刘光宇薛安克.基于机器视觉的光伏电池位置检测方法.工业控制计算机():.邵杭王永雄.基于并行对抗与多条件融合的生成式高分辨率图像修复.模式识别与人工智能():.吴文万毅.基于低尺度细节恢复的单幅图像阴影去除方法.电子学报():.周波李俊峰.结合目标检测的人体行为识别.自动化学报():.().:.:.().:.():.().:第 卷第 期 卜东寒等:多尺度对称压缩伪影去除神经网络