一种注意力机制的多尺度特征融合MRI重建_李蓥楠.pdf

第 卷 第期青 岛 大 学 学 报（工 程 技 术 版）年 月 （）文章编号：（）；：一种注意力机制的多尺度特征融合 重建李蓥楠，迟洁茹，苑腾飞，李玉楷（青岛大学电子信息学院，山东 青岛 ）摘要：针对深度卷积神经网络重建磁共振图像存在的高频细节纹理丢失问题，本文提出一种注意力机制的多尺度特征融合磁共振成像（，）重建。在 模型基础上，采用参考图像的特征，约束低分辨磁共振图像的重建，并引入多尺度特征挤压注意力（，）模块，建立跨通道信息交互，在通道维度上对多尺度特征层进行特征提取并融合，强化高频细节纹理的特征信息，提高磁共振图像重建的分辨率。同时，为验证所提注意力模块的有效性，保持其他参数不变，在测试集上分别对网络加入的注意力模块前后进行对比实验。实验结果表明，本文所提出的 ，能提高图像的重建质量，使图像获得更丰富的信息，各项指标均达到最优，重建结果纹理清晰，接近于真实图像，更能满足人类的视觉感受，而且网络在峰值信噪比和结构相似性等质量评价指标方面均得到较大改善，在定量评估上明显优于其他网络，而且通过不同尺度注意力相融合，使网络在小数据集上就可明显提升图像的感知质量。该研究具有较大的应用价值。关键词：超分辨率重建；特征融合；注意力机制；深度学习；神经网络中图分类号：；文献标识码：收稿日期：；修回日期：基金项目：山东省自然科学基金资助项目（）作者简介：李蓥楠（），女，硕士研究生，主要研究方向为磁共振图像重建。通信作者：迟洁茹（），女，教授，主要研究方向为人工智能与图像处理。：由于 具有良好的软组织分辨率、无辐射和高对比等优点已成为医学诊断、疾病分期和临床研究不可或缺的工具。系统可通过脉冲序列的灵活配置获得包含重要生理和病理特征的多对比度（，）图像，如、和质子密度（，）加权图像，有助于临床诊断及准确决策。由于 扫描时间较长，不仅增加患者的痛苦，还会因生理运动使图像存在不同程度的运动伪影，影响成像质量。因此，加速扫描获得高分辨率（，）的 已成为磁共振领域重要的研究内容。目前，超分辨率（，）重建技术，可在不改变 系统的硬件和扫描组件情况下，显著提高 成像质量 。近年来，随着深度学习的快速发展，基于深度卷积神经网络（，）的超分辨率方法被应用于 超分辨率重建 。等人首次应用卷积神经网络进行 超分辨率重建；等人提出了一种专门用于心脏磁共振成像的深度卷积神经网络；等人 首先插值放大低分辨率（，）图像，并通过层 恢复 系统中大脑结构的细节。在神经网络中，嵌入注意力模块可有效提高性能。等人 将 机制用于机器翻译任务，并取得了很好的效果；等人 使用通道注意力，通过关注不同通道之间的依赖关系，提高分类任务的准确性。目前，注意力机制仍存在个重要问题，首先是如何有效地获取和利用不同尺度空间信息丰富特征空间；其次是如何有效地捕获局部信息，建立跨通道信息交互。基于此，本文提出了一种多尺度特征挤压注意力（，）模块，模块通过不同尺度卷积核提取多尺度特征，对多尺度特征分别提取通道注意力权重，融合后建立跨通道信息交互，使网络具有注意力驱动的远程依赖性。同时，利用 图像作为参考，提取特征进行重建约束 ，并将第期李蓥楠，等：一种注意力机制的多尺度特征融合 重建 模块应用到多参考网络，可提高超分辨率 的成像质量。该研究使图像的高频信息得以恢复，并达到较好的重建效果。研究方法零填充 图像 与其对应的高分辨率图像之间满足（）（）式中，为网络的重建函数；为逆傅立叶编码矩阵；表示厄米转置操作；表示欠采样掩模的对角矩阵；为傅立叶编码矩阵，与的关系满足；表示全空间数据。超分辨率重建的目标是找到最理想的逆函数。超分辨率重建过程可表示为 （）（）式中，为网络重建的超分辨率图像。采用多参考网络重建时，不仅使用，还使用一个不同对比度的高分辨率参考图像。问题可描述为 （），（）（）式中，为 范数，第一项是数据保真度项；第二项是正则化项，用于描述和 之间的结构相似性；是正则化参数。网络结构整体结构在 网络基础上引入多尺度特征挤压注意力模块，将网络分为编码器和解码器部分。编码器具有个结构完全一样的特征提取模块，分别用来提取参考图像 和低分辨率图像 的特征。每个特征提取模块均由层卷积和个残差块构成，其卷积核大小为，过滤器个数分别为，和 。解码器由层反卷积和个残差块构成，反卷积和编码器的卷积一一对应，过滤器数量分别为 ，和。低分辨率图像特征和参考图像特征通过跳连和在通道维度上拼接后，输入解码器对应位置。另外，在解码器最后增加多尺度特征挤压注意力模块，建立跨通道信息交互，进一步提高重建图像的质量。网络整体结构如图所示。图网络整体结构 模块特征图中，不同通道的信息在重建中所起的作用不同，且不同通道之间存在一定的关联性。为此，本文提出了一种多特征挤压注意力模块，模块如图所示。将不同大小的卷积核作用于输入特征，提取输入特征不同尺度的空间信息，再以多分支并行处理的方式对空间信息进行挤压，得到每个分支通道注意力权重 ，对各分支对应的通道注意力权重进行融合后，构成多尺度特征挤压的通道注意力权重。多尺度卷积核作用于输入特征，提取的不同尺度特征可写为 ，（）（），（）青 岛 大 学 学 报（工 程 技 术 版）第 卷其中，为从上向下第个支路的多尺度特征，对应的卷积核大小为（）（）。采用文献 所提出的方法，对不同支路特征提取通道注意力权重，得到该支路通道注意力权重向量 。数学上，各支路通道注意力权重向量可以表示为 （），（）融合不同支路的通道注意力权重后作用于输入特征的通道上，获得多尺度特征为 （，）（）图 模块 实验分析实验配置网络使用大脑多模态 数据集进行训练和测试。数据集包含 名患者扫描注册的 对 和 加权 图像，其中 对 和 加权图像用于训练和验证，剩余图像用于测试，加权图像作为参考图像，加权图像作为重建图像。原始图像大小均为 ，图像通过 在频域欠采样获得，大小不变。对于欠采样倍数为，和，在频域中心分别保留 ，和 的数据点，外围数据点进行零填充。每个、和 图像均被裁剪为 个大小为 的图像块。训练前，对所有图像在，范围进行归一化。整个训练过程为 轮，批大小为，学习率为，使用指数线性单元（，）激活，结构相似性损失为网络目标函数，优化器对网络参数进行优化，每轮训练结束后对验证集进行验证。采用峰值信噪比（，）、结构相似性（，）、视觉信息保真度（，）以及归一化均方误差（，）对图像进行评估，所有工作均在 上进行。实验结果不同欠采样倍数下的重建结果分别对不同欠采样倍数下的测试集脑部图像重建，在不同欠采样倍数下，基于 数据集的重建结果如图所示。图下方为测试集上的平均 值。由图可以看出，欠采样倍数越高，图像越模糊，可见细节越少。经过训练，重建的 图像不仅具有清晰的形状和纹理细节，与对应的图像在结构上也有很大的相似性。例如，随着欠采样倍数的增加，图中箭头所指的白质裂隙逐渐变模糊、不易检测，但每个结果中，这些裂缝相对于原始的 图像都变得清晰、可检测。实验证明，所提出的网络不仅适用于低欠采样倍数，在高欠采样倍数下仍可获得良好的重建效果。注意力模块的影响为了验证所提注意力模块的有效性，保持其他参数不变，在测试集上分别对网络加入注意力模块前后进行对比。加入 前后重建结果定量比较如表所示，由表可以看出，加入 模块后，无论是低倍欠采样还是高倍欠采样（倍），重建图像的 提高了 左右，同时 和 也有一定的提升。第期李蓥楠，等：一种注意力机制的多尺度特征融合 重建图基于 数据集的重建结果表加入 前后重建结果定量比较方法倍欠采样倍欠采样倍欠采样 为了进一步显示两者差异，从测试集中选出张图像进行视觉效果对比，加入 前后，在倍欠采样下重建的视觉效果对比如图所示。由图白色箭头所指区域可以看出，与 相比，未加 模块重建出的，虽然能恢复出清晰的轮廓，但其细节相对仍然很模糊，加入 模块后，重建出的图像更清晰，与真实图像更接近。图加入 前后在倍欠采样下重建的视觉效果对比青 岛 大 学 学 报（工 程 技 术 版）第 卷与其他方法的比较将所提网络与 和 相比，不同方法在 数据集上的定量比较如表所示。由表可以看出，与其他网络相比，无论是低倍欠采样还是高倍欠采样，所提方法的各项指标均达到最优，尤其在倍欠采样下，高出 左右，和 也得到很大的提升，明显减小，说明所提网络在定量评估上明显优于其他网络。表不同方法在 数据集上的定量比较方法倍欠采样倍欠采样倍欠采样 不同方法在倍欠采样下重建结果的视觉对比如图所示。由图可以看出，对欠采样倍数为的 重建，在白色框所选区域，其他方法重建结果相对模糊，而所提方法的重建结果纹理清晰，更接近于真实图像，更能满足人类的视觉感受。图不同方法在倍欠采样下重建结果的视觉对比 结束语本文提出了一种有效的多尺度特征挤压注意力模块，通过融合不同尺度特征的通道注意力权重，对不同的通道给予不同程度的权重分配。根据加入 前后进行对比可以看出，加入 之后，网络的各项指标均得到提升，可以重建出更多的细节。通过与其他网络对比发现，本方法无论是在评估指标上还是视觉感受上均为最优，具有更多纹理。虽然利用 达到较好的重建结果，但在前向传播过程中，高频细节仍有丢失，如何有效地避免高频细节的丢失是接下来研究的方向之一。此外，由于磁共振图像本身的特性，全局信息对提升图像的感知质量尤为关键，如何有效地提取图像的全局信息是一个有待解决的问题。参考文献：，第期李蓥楠，等：一种注意力机制的多尺度特征融合 重建 ，（）：马凤飞，蔺素珍，刘峰，等基于语义对比生成对抗网络的高倍欠采 重建计算机科学，（）：，：，：，：，（）：，（）：施俊，汪琳琳，王珊珊，等 深度学习在医学影像中的应用综述 中国图象图形学报，（）：李彬，喻夏琼，王平，等基于深度学习的单幅图像超分辨率重建综述计算机工程与科学，（）：，：，：，（），：，：，：，：何理文，迟洁茹，石涵瑜，等基于参考图像的膝关节 超分辨率重建算法研究青岛大学学报（自然科学版），（）：，：，：，（）：，：，：，（）：，：，：（）：，：，：（下转第 页）檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮檮殑殑殑殑科技论文中的关键词关键词是科技论文的文献检索标识，是表达文献主题概念的自然语言词汇。科技论文的关键词是从其题名、层次标题和正文中选出，能反映论文主题概念的词或词组。规定：每篇报告、论文应选取个词作为关键词，以显著的字符另起一行，排在摘要的下方。如有可能，尽量用 汉语主题词表 等词表中提供的规范词。第期孙海洲，等：基于 的多种格式视频信号源控制系统 ，（，）：，：；（上接第 页），（，）：，：；