基于l_1诱导轻量级深度网络的图像超分辨率重建_张大宝.pdf

基于 诱导轻量级深度网络的图像超分辨率重建张大宝 赵建伟，周正华摘 要 现有的基于深度学习的超分辨率重建方法主要通过加深网络以提高网络的重建性能，但是加深网络会导致网络权值数量急剧增加，给网络训练和存储带来巨大负担 考虑到噪声的稀疏性、网络训练的成本及重建图像边缘的清晰度，文中融合模型驱动与数据驱动的思想，提出基于 诱导轻量级深度网络的图像超分辨率重建方法 先利用分裂 算法和软阈值算子，构建边缘正则的 重建模型，并推演有效的迭代算法 再在迭代算法的指导下，设计相应的递归深度网络进行图像重建 因此，文中网络是在优化模型指导下设计的，推导出的递归结构由于其权值共享的特性，可减少网络权值的数量 实验表明，文中方法在网络权值数量较少时，仍能取得较优的图像重建性能关键词 超分辨率重建，深度学习，轻量级网络，模型驱动，数据驱动引用格式 张大宝，赵建伟，周正华 基于 诱导轻量级深度网络的图像超分辨率重建 模式识别与人工智能，（）：中图法分类号 o，oo oo o o oo o o o o o，o oo o，o o o oo o o o，o o o oo，oo oo oo o o o o ，o o o oo o o o oo oo o o o，oo o o oo o oo，oo o o oo ooo，o o o o o o oo o oo ooo o o 收稿日期：；录用日期：o，；，浙江省自然科学基金项目（o，）资助o oo o o（o，）本文责任编委 兰旭光o o o 中国计量大学 理学院 杭州 中国计量大学 信息工程学院 浙江省电磁波信息技术与计量检测重点实验室 杭州 o o，o oo o o oo oo oo o o，o o oo，o 第 卷 第 期模式识别与人工智能o o 年 月 oo oo oo，o，o，oo oo o o oo ，（）：图像超分辨率（oo，）在航空影像和医疗成像等领域被广泛应用，主要原理是从观测到的一幅或多幅低分辨率（o oo，）图像重建高分辨率（oo，）图像一般地，图像的退化模型可表示为 ，（）其中，表示观测到的低分辨率图像，表示退化操作，表示未知的高分辨率图像，表示加性噪声 显然，从退化后的低分辨率图像 中恢复高分辨率图像 是个不适定问题关于上述不适定问题，学者们提出许多高效的超分辨率重建方法，主要分为基于插值的方法、基于重建的方法和基于学习的方法 特别地，随着深度学习的快速发展和应用，基于深度学习的超分辨率重建方法得到学者的关注 该类方法主要利用深度网络拟合低分辨率图像到高分辨率图像之间的映射关系 o 等将深度卷积网络引入图像超分辨率重建中，先后提出（oo ooo o）和（oo ooo o）在此基础上，学者们提出许多基于深度网络的图像超分辨率重建方法 等引入有效的亚像素卷积，提出（ooo o）为了提高深度网络的重建性能，等利用残差连接将网络深度加深到层，提出 等利用逐级放大的思想，提出（ooo）等利用残差连接和关注机制，提出（oo）等提出 （o），利用残差连接和密集连接的思想，提取丰富的局部特征和全局特征 等结合多尺度特征融合 和 局 部 残 差 学 习，提 出（o）等将物理学中的流体力学、热传导理论和曲率一致应用到芯片和自然图像的超分辨率重建中上述超分辨率重建方法主要通过不断构造更深、更复杂的深度网络以提高网络重建性能，但是网络的加深会导致网络权值数量的急剧增加，给网络训练和存储带来巨大负担 因此，学者们开始探讨轻量级深度网络模型的设计 为了减少网络的权值数量并尽量保持网络的重建性能，等基于递归权值共享的思想，提出（ooo o），大幅减少网络的权值数量在此基础上，等结合残差连接，提出（o）尽管基于递归的权值共享可减少深度网络的权值数量，但该类网络的递归模块是人为设计的，没有在专家先验知识的指导下进行网络设计 等指出融合模型驱动与数据驱动是未来研究系统科学问题的主流方向之一 因此，学者们开始探讨将模型驱动和数据驱动相结合进行基于轻量级深度网络的超分辨率图像重建的研究 等提出，从 图像退化模型出发推导优化迭代算法，并根据迭代算法设计轮廓增强先验网络及去噪统计先验网络，实现图像重建 同时，o 等提出（o o o），也从 图像退化模型出发推导其优化迭代算法，并根据迭代算法设计多尺度残差卷积网络去噪器上述 和 是从 图像退化优化模型出发推导迭代算法，在算法的指导下设计深度网络进行图像重建 由于 数据保真项对高斯类噪声具有较好的平滑作用，但对于具有稀疏性的椒盐噪声处理效果并不明显，因此 和 对带有稀疏噪声图像的重建效果不明显 考虑到实际应用中图像噪声具有一定的稀疏性，而 保真项能较好地刻画噪声的稀疏性 同时，评价图像的重建效果除峰值信噪比（o o o，）和结构相似性（，）以外，图像的视觉效果即图像具有清晰的轮廓也很重要因此，本文基于模型驱动与数据驱动结合的思想，提出基于 诱导轻量级深度网络（o，）的图像超分辨率重建方法 先利用分裂 算法和软阈值算子，从带有边缘正则项的 重建优化模型推演有模式识别与人工智能（）第 卷效的迭代算法 再在上述迭代算法的指导下设计相应的递归深度网络用于图像重建 不同于现有的深度网络依赖人为模块设计，本文的深度网络是在重建优化模型的指导下设计的，推导的递归结构由于其权值共享的特性，可减少网络权值的数量 同时，由带有边缘正则项的保真项诱导的轻量级深度网络能更好地增强重建图像的锐度基于 诱导轻量级深度网络的图像超分辨率重建本文利用保真项比保真项能更好地刻画图像噪声的稀疏性的特点，在深度学习的基础上融合专家先验知识，提出基于 诱导轻量级深度网络（）的图像超分辨率重建方法 网络设计原理由于 是在重建优化模型的指导下设计的，避免传统深度网络盲目加深网络带来的网络权值急剧增加的问题，因此，本节先推导诱导轻量级深度网络的设计原理对于图像退化问题（），超分辨率重建的主要目的是从低分辨率图像中重建高分辨图像 根据贝叶斯条件，图像退化问题（）的解可由最大后验概率（）表示，即 （）（）（），其中，（）表示似然项，（）表示先验项在 和 中，似然项选取 保真项 ，先验项选取关于 的正则项（），即 （），（）其中 表示正则化系数不同于 和，本文方法考虑到实际应用中图像噪声具有一定的稀疏性，而相比 保真项，保真项能更好地刻画图像噪声的稀疏性，因此本文选取 作为数据保真项 另外，不同于 和 中采取抽象的正则项，为了提高重建图像的视觉效果，增强重建图像的锐度，本文选取图像边缘的方差作为先验正则项，即 （），（）其中，表示 范数，表示图像边缘提取算子，（）表示方差 显然，上述带有边缘正则项的重建优化模型能较好地体现图像噪声的稀疏性和重建图像的局部结构由于上述 重建优化模型（）中的 范数是不可微的，因此求解该优化问题比求解 重建优化模型（）更复杂首先，利用变量分离策略将 重建优化模型（）转化为如下形式：（，），（），（）接着，利用分裂 算法将约束问题（）转化为如下无约束问题：（，），（）（），（）其中 表示惩罚系数 利用文献 中的 分离策略，式（）可转化为（k，k），（）（k），k k（k）k），其中 表示辅助变量 此时，上述迭代方法可分解为如下迭代公式：k k（k）（），k （k k），k k（k）k）（）对于式（）中的子问题，由于范数和是可微的，因此采用经典的梯度下降法求解，得k，k，（k k，k）(k，)，其中，k，表示式（）中 k子问题的第 步迭代解，表示迭代步长，中每个元素的值为 k，的均值对于式（）中的 子问题，由于 是不可微的，因此求解变得困难 本文采用软阈值算子求解 子问题，得k（k k），其中（）表示软阈值算子综上所述，式（）的解可表述为如下迭代形式：第 期 张大宝等：基于 诱导轻量级深度网络的图像超分辨率重建k k，k，（k k，k）(k，)，k（k k），k k（k）k），（）其中，k表示内部进行 步迭代后得到的解，再参与 k和 k的外部迭代运算 网络结构经典的基于深度学习的超分辨率重建方法在设计网络时主要通过人为设计网络模块，提高重建性能，而本文方法在 节中推导的算法指导下，设计相应的深度网络，避免盲目增加网络权值参数量，网络结构如图 所示递归次K-1x0 xKAT卷积层yILRXd b-像素重组卷积层ISR卷积层模块X模块x0y00-()初始bdb11-()更新x1.xK-1dbKK-1-1-()更新xKX模块.d图 诱导轻量级深度网络结构 o o具体网络的设计过程如下 对于给定的低分辨率图像 ，为了便于后续模块中的卷积操作获得充足的通道数，本文方法首先使用 组 的卷积核对 进行卷积操作，得到的特征图作为观测的低分辨率图像 由于本文的深度网络是在 节中的算法指导下设计的，而从式（）可知，重建的高分辨率图像 具有双重递归结构 因此，本文令 作为递归的初始值 为了提高重建性能，本文选取多尺度残差块作为退化矩阵 对于式（）中的、k和 k，令 模块表示高分辨率图像 的 次内部递归过程，结构如图 所示对于第 次内部迭代输入 k，利用多尺度残差块作用于 k，得到 k，再与、k和 k进行相应的运算，得到k k，k，再经过 和参数 的作用后得到（k k，k）同理，k，在特征提取矩阵的作用下得到k，再根据方差的定义进行取平均和相减操作，得到k，然后经过 的作用后，得到(k，)，最后与 k，相减，完成 k，的更新取平均BBT递归 次L-1xk+1,0bkydkAATxkl+1,+-+-图 模块结构 o o进行完 模块的 次内部递归后，需要更新辅助变量k、k，保证式（）中高分辨率图像的外部递归过程 模块更新过程如图 所示AT+xk+1-ybk软阈值-bk+1dk+1图 更新过程 o o 给定输入变量 k、k和，首先对 k实行对应于退化 的卷积运算，然后将其与 k和 进行相应的和差运算，得k k k 最后，将 k输入软阈值函数（）中，得k（k）同理，k与 k相互作用，可得k k k通过上述 模块和 模块双重递归过程，经过 次迭代后，得到特征图 最后，使用像素重组将 放大 倍，得到重建的高分辨率图像 损失函数对于设计好的网络，损失函数的设计很影响网模式识别与人工智能（）第 卷络的性能 对于训练样本集（，），经典的损失函数有两种，即 损失和均方误差损失（o，），相应公式如下：（）（；），（）（；），其中，表示网络中需要训练的权值和参数，表示输入的低分辨率图像块，表示原始的高分辨率图像块，（；）表示经网络重建后的高分辨率图像块 由于本文网络是根据 数据保真项推导的算法而设计的，因此在损失函数的选择上采用收敛更快且鲁棒性更强的 损失函数 另外，本文采取经典的（o o）优化器优化损失函数实验及结果分析 实验环境本文选择 数据集中前 幅图像构造网络训练集，通过对图像进行旋转操作以增强数据集 同时，本文选择、和 数据集进行重建测试 选择 和 作为重建性能的评价指标 一般地，和 值越高，方法的重建性能越优在训练阶段，各方法将 数据集上的高分辨率图像进行双三次下采样后得到的图像作为低分辨率图像，然后将图像减去数据集的平均值进行预处理 低分辨率图像大小为 ，网络训练的批次大小为 在训练网络时，优化器的相关参数设置为 ，初始学习率为，每 代后学习率减半本文实验均是在 o 框架下实施的，在（）o（）、核处理器、内存、显卡和 o 操作系统下实现 参数分析本文的深度网络包含 个网络结构重要参数：模块内部结构中递归次数、网络中 模块递归次数 和软阈值算子中的超参数 本节通过实验讨论这 个参数对网络重建性能的影响考虑到网络训练的时间，在较合适的网络规模，即 的情况下讨论不同的递归次数 和 对重建性能的影响，在 数据集上，、取值不同时的 值和 值如表 所示 由表可知，在 ，时，网络取得最优的重建性能 随着 的增加和 的减少，网络性能有所下降 这主要是网络的外递归的影响比 模块的内递归的影响要大表 、取不同值时对网络性能的影响 o o o o 下面讨论软阈值算子中的参数 对网络重建性能的影响 在 数据集上 不同时的 值和 值如表 所示 由表可知，在 时，网络取得最优的重建性能 主要原因是 太小时，软阈值算子在网络上的作用较小；而当 较大时，不能使 （）近似于 表 取不同值时对网络性能的影响 o o o o 消融实验结果本节通过消融实验说明 的创新性 首先，为了说明多尺度残差块（o，）和先验项约束的意义，将退化模型中 选取普通卷积、优化模型中无先验正则项导出的网络作为基本网络，记为 其次，为了凸显在先验指导下设计网络的意义，将 个 递归网络记为 最后，为了说明损失函数 的优点，将使用本文网络结构而损失函数为 损失的网络记为、和 的消融实验结果如表 所示 由表可看出，的重建结果在 个数据集上都最优 相比，具有明显优势主要是因为退化模型中 选取，比普通卷积具有更好的特征提取能力 同时，在推演模型算法时，使用先验正则项，使根据算法设计的网络具有更好的拟合能力 的重建结果优于，说明在模型推导下设计网络具有重要意义 的重建结果优于，说明即使网络结构一样，但网络训练选取损失函数的不同，将产生不同的重建结果第 期 张大宝等：基于 诱导轻量级深度网络的图像超分辨率重建表 本文方法的消融实验结果 o o o oo o方法 复杂度分析本节讨论 的复杂性 选择如下 种对比方法：、（o o）、选择 数据集，各方法的实验结果（放大因子为）如表 所示，表 中（oo o o）表示每秒浮点运算次数表 各方法在 数据集上的复杂度对比 o oo o o o 方法时间 参数量 由表 可看出，使用最少的参数量和最小的 实现最高的 和 究其原因，本文方法是在先验知识诱导的算法指导下进行网络设计的，避免盲目加深网络带来的参数冗余，使网络能在参数较少时得到较好的网络重建效果 对比实验结果本节 选 择 如 下 对 比 方 法 进 行 对 比 实 验：、文献 方法、（o ooo o）、（oooo）、（）选择放大因子、，各方法在、数据集上的和对比结果如表 表 所示，表中黑体数字表示最优值表 时各方法的指标值对比 oo o o o 方法 文献 方法 本文方法 模式识别与人工智能（）第 卷表 时各方法的指标值对比 oo o o o 方法 文献 方法 本文方法 表 时各方法的指标值对比 oo o o o 方法 文献 方法 本文方法 由表 表 可知，本文方法取得最高的和 究其原因，本文方法考虑噪声的稀疏性和先验知识，在算法的指导下设计深度网络，避免盲目构造网络造成的冗余 重建图像对比、的重建高分辨率图像对比如图 所示 从图中右下角的放大图像可看出，能重建具有更清晰纹理、更少伪影的图像，而 重建的 幅图像非常模糊 究其原因，主要是 是在带有边缘正则项的重建模型推导的算法指导下进行设计的，边缘正则项的约束使重建图像具有更好的边缘清晰度第 期 张大宝等：基于 诱导轻量级深度网络的图像超分辨率重建放大因子为放大因子为放大因子为234（）原始图像（）放大因子为放大因子为放大因子为234（）放大因子为放大因子为放大因子为234（）放大因子为放大因子为放大因子为234（）放大因子为放大因子为放大因子为234（）放大因子为放大因子为放大因子为234（）放大因子为放大因子为放大因子为234（）图 各方法重建图像对比 o oo o o结 束 语现有的基于深度学习的方法主要通过加深网络以提高网络的重建性能，但是直接加深网络会造成网络参数带来的冗余，给网络训练和内存存储带来负担 考虑到噪声的稀疏性和减小网络参数带来的冗余，并增强重建图像的清晰度，本文结合数据驱动和模型驱动，提出基于 诱导轻量级深度网络的图像超分辨率重建方法 从带有正则项的 优化模型出发，推导轻量级深度网络的设计原理 然后根据该原理设计相应的轻量级深度网络，进行图像重建 因此，本文方法是在模型的指导下设计轻量级深度网络，避免盲目加深网络造成的参数冗余，可体现数据驱动和模型驱动的优势 实验表明，本文方法重建性能较优 重建优化模型和迭代算法决定深度网络的结构和性能 因此，深入挖掘重建先验知识，构造更能反映图像退化过程的轻型深度网络将是进一步的研究重点参考文献 ，o o o o o o ooo，（）：李仲年，张 涛，张道强 基于自监督边缘融合网络的 影像重建 模式识别与人工智能，（）：（，oo o oo oo ，（）：），oo o o o oo o，（）：，oo oo o o o o，（）：模式识别与人工智能（）第 卷 ，oo o o，（）：，ooo o o oo o o o o o o o，：，：，oo ooo o o o o o o o o，：，：，o oo ooo o o o o oo o ooo，：，：，oo ooo o o o o o o o oo o，：，：，o o oo o o o o o o ooo，：，：，oo o o o o o o o o o，：，：，o o oo o o o o o o oo o，：，：，oo oo o o o o oo o，：，：，oo oo oo o o，（）：，o o oo oo o o o ，：，oo o oo oo o o o ，：，ooo o o oo o o oo o o oo o，：，：，oo o o o o o o o oo o，：，：，o o ，：，o o o o oo o o，（）：，o o o o oo o o ，（）：，o o o o o ，（）：，o oo：o o o o o oo，（）：，：o o o o ：o ，o oo：o o o o o o o oo oo o，：，：，ooooooo o o o o o，：，：，o o o o o o ，：，：，oo o o o o ，（）：，oo o o o o o o o o oo o，：，：，：oo o oo o o oo o o o o，：，：，：o o oo o o，（）：，：o ooo o o oo oo o o o o，：，：，第 期 张大宝等：基于 诱导轻量级深度网络的图像超分辨率重建oo oo o o o o o o o o oo o，：，：，oo o o o o ，（）：作者简介张大宝，硕士研究生，主要研究方向为深度学习、图像处理等：o（，o）赵建伟（通信作者），博士，教授，主要研究方向为深度学习、图像处理等：o （oo o），oo o）周正华，博士，副教授，主要研究方向为深度学习、图像处理等：o（，o oo o）年度 （英文刊）、中国科学基金（中文刊）征订通知（双月刊）（，）是由国家自然科学基金委员会主管、主办的综合性英文学术期刊。期刊立足于反映国家自然科学基金资助的优秀成果，同时全方位报道世界基础研究前沿重要进展和重大创新性成就，提升中国基础研究和中国科学家在国际科学界的显示度和影响力。期刊内容涵盖数学物理、化学化工、生命科学、地球科学、工程与材料科学、信息科学、管理科学、健康医学、交叉科学等科学领域，设置、o 等栏目。以开放获取（）方式在线出版，期刊网址为：o o。纸质期刊全年 期，每期 元，全年 元。中国科学基金（中文刊）（国内邮发代号：）是国家自然科学基金委员会主管、主办的综合性学术期刊，被北大中文核心、中国社会科学引文索引（）扩展版、中国科技核心（）、中国科学引文数据库（）扩展版等国内各主要检索系统及日本科学技术振兴机构数据库（）等国外部分重要检索系统收录。主要报道和介绍国家自然科学基金发展战略、资助政策、改革举措。同时，它聚焦科学前沿热点，深入报道基础研究的重要进展、创新成果和优秀团队及科学基金管理经验。纸质期刊全年 期，每期 元，全年 元。请通过对公转账订购，回复订阅回执单、转账凭证到邮箱。银行户名 国家自然科学基金委员会科学传播与成果转化中心开户银行 中国工商银行北京北太平庄支行银行账户 联系人 刘老师联系电话：（摘自国家自然科学基金委员会网站）模式识别与人工智能（）第 卷