基于子空间投影和边缘增强的低剂量CT去噪.docx

基于子空间投影和边缘增强的低剂量 CT 去噪摘要：低剂量计算机断层扫描（CT）是一种相对安全的疾病筛查手段，但低剂量 CT 图像往往 包含较多噪声和伪影，严重影响医生的诊断。针对该问题，本文提出一种基于子空间投影和 边缘增强网络（SPEENet）。SPEENet 为自编码器结构，包含双流编码器和解码器两个主要模 块。双流编码器可以被分为噪声图像编码流及边缘信息编码流两部分，噪声图像编码流对低 剂量 CT 图像进行特征提取，利用图像特征去除低剂量 CT 中的噪声和伪影；边缘信息编码流 部分主要关注低剂量 CT 图像的边缘信息，利用边缘信息保护图像结构。为充分利用编码器特 征，本文引入噪声基投影模块，构建基于编码器和解码器特征的基，并利用该基将编码器提 取的特征投影到对应的子空间，获取更好的特征表示。本文在公开数据集上进行实验以验证 提出网络的有效性，实验结果表明，相较于其他低剂量 CT 去噪网络，SPEENet可以取得更好 的去噪效果。关键词：深度学习；自编码器；低剂量CT；子空间投影；边缘信息计算机断层成像（computed tomography，CT）技术可以非入侵式地获取人体解剖信 息，是当前主要的临床诊断方式之一。然而 CT 扫描过程中产生的 X 射线辐射会对人体产生 危害，为减少对人体的潜在危害，低剂量 CT 成像技术一直是放射诊断领域的研究热点。通 过改变 CT 扫描时的硬件参数可以有效降低患者接收到的辐射剂量，但是使用传统解析算法 重建得到的低剂量 CT 图像往往包含严重的噪声及伪影，严重影响医生诊断。对低剂量 CT 图像进行去噪可以在降低患者所受辐射剂量的同时，有效帮助医生观察解剖结构，降低疾 病的误诊率，有利于医生更好的提出治疗方案。低剂量 CT 图像去噪方法大致可以分为 3 类：正弦图滤波方法、迭代重建方法和图像后 处理方法。正弦图滤波的方法指直接对 CT 设备探测得到的正弦图数据去噪，然后通过滤波 反投影（filtered back-projection，FBP）1算法获得去噪后的CT 图像2-3 。迭代重建方法 结合投影域的噪声统计信息和图像域的先验信息，构建目标函数，通过迭代优化方法求解 目标函数获得高质量的 CT 图像，其中，基于字典学习4和基于全变分5的方法是两种经典 的迭代重建方法。然而，上述两类方法都需要投影数据的支持，一般情况下，投影数据会 被 CT 设备厂商加密从而难以获得，因此这两类方法的推广需要设备厂商进行配合，推广成 本高、难度大。图像后处理方法和前两类方法不同，仅需要对重建后的含噪声图像进行处理即可，无 需访问投影数据，具有更好的商业推广潜力。传统的图像后处理方法如三维块匹配（block- matching 3-D，BM3D）6算法和非局部均值（nonlocal means，NM）7算法，虽然能够取得一 定的去噪效果，但结果往往过于平滑，可能丢失关键的局部细节信息，图像质量常常难以 达到临床要求。近年来，随着深度学习相关技术的兴起，医学成像领域的研究人员提出了多种基于深 度学习的低剂量 CT 图像去噪方法。比如，Chen 等8将残差结构引入自编码器结构，提出 RED-CNN（residual encoder-decoder convolutional neural network），取得了较好的去 噪效果；Shan 等9提出CPCE（ conveying path-based convolutional encoder-decoder）， 通过预训练的二维卷积网络对三维卷积网络参数进行初始化，并进一步微调，取得了更好 的成像效果；You 等10将 CycleGAN 思想引入低剂量 CT 图像去噪，降低了基于深度学习的 低剂量 CT 去噪方法对配对数据的高度依赖；Gholizadeh-Ansari 等11将边缘检测、空洞卷 积、跳跃连接、感知损失等技术结合，进一步提升网络的去噪能力。自然图像去噪作为热门研究领域之一，吸引了众多研究人员的兴趣，他们基于深度学 习框架提 出 了 多种去 噪算法 12-15 。尤其是近期 的 图像去 噪方法 NBNet（ noise basis network）16 ，将子空间投影技术加入去噪网络，在自然图像去噪上获得了具有竞争力的去噪 效果，展示了子空间投影在自然图像去噪中的有效性。低剂量 CT 去噪方法的研究可以借鉴 这些自然图像去噪方法，将这些自然图像去噪方法推广到低剂量 CT 去噪领域。然而，由于自 然图像和医学图像的数据分布具有较大差异， 自然图像去噪方法难以直接应用在低剂量 CT 去噪之中，在借鉴这些自然图像去噪算法的同时，需要考虑到低剂量 CT 图像的自身特性。受 NBNet 在自然图像去噪领域成功应用的启发，本文将子空间投影技术引入低剂量 CT 去噪领域。同时在多项低剂量 CT 去噪工作17-19中已证明边缘信息在低剂量 CT 图像去噪过 程中非常重要，本文使用 Sobel 算子20提取CT 图像的边缘信息。本文设计了一个双流编码 器，其中边缘信息编码流将 CT 图像的边缘信息引入去噪网络，此外噪声图像编码流对图像 特征进行提取，并将其与边缘特征相拼接，和对应解码器的特征进行融合。为分离噪声信息与图像信息，本文在双流编码器的基础上结合子空间投影技术，提出 适用于低剂量 CT 图像去噪的基于子空间投影和边缘增强网络（ subspace projection and edge enhancement network，SPEENet），SPEENet 以低剂量 CT 图像作为输入，充分利用噪 声图像和边缘信息，能够较好抑制噪声和伪影的去噪结果。1 方法SPEENet 的总体架构如图 1 所示，SPEENet 为自编码器结构，包含双流编码器和解码器 两个主要模块。双流编码器分为噪声图像编码流及边缘信息编码流，其中噪声图像编码流 的输入为 64 64 的低剂量 CT 图像块，边缘信息编码流的输入为该低剂量 CT 图像通过 Sobel算子提取的梯度图像；在编码器阶段，第 1 个卷积块会生成通道数为 32 的特征图， 此后每经过一个卷积块 ，特征 图 的通道数量翻倍 ；卷积块采用残差结构 21 ，并使用 LeakyReLU22作为激活函数。在解码器阶段，每经过一个卷积块，特征图的通道数量减半。 本文使用噪声基投影模块（noise basis projection module，NBPM）建立编码器和解码器对应特征联系，使得网络具有更好的去噪效果。（a）SPEENet 架构2卷积块33 ConvLeakyReLU11 Conv33 ConvLeakyReLU（b）卷积块 （c）投影模块Sobel 算子33 卷积下采样 上采样 SK :K 个卷积块串联 C Concat（d）其他符号解释图 1 SPEENet 架构Fig.1 The architecture of SPEENet由于 CT 图像复杂的结构信息，提升网络对边缘信息的关注，可以有效提升低剂量 CT 去噪后的视觉质量。为充分利用边缘信息，本文利用边缘信息编码流，对低剂量 CT 图像的 边缘信息提取不同层级的语义信息。本文采用一阶边缘检测Sobel算子提取低剂量 CT 图像 的边缘信息，其提取效果如图 2 所示，不难看出，Sobel算子可以有效提取 CT 图像的解剖 边缘信息。提取边缘信息后，通过卷积对其进行特征提取，然后使用 concat 操作将其与噪声图像特征拼接起来，经过卷积块后输入到 NBPM 中，使得网络在获取 CT 图像信息的同时 能够获取边缘信息，提升网络的去噪效果的同时有效保护图像的边缘结构。（a） （b）图 2 Sobel算子的结果示意Fig.2 The result of Sobel operator本文引入 NBNet16的NBPM 模块，该模块从子空间投影角度出发，利用解码器特征来引 导编码器特征的重构。具体地，来自编码器的特征先通过若干卷积块，得到特征图 A1 。除 了最后一个卷积块，所有卷积块都不改变特征图的通道数量，最后一个卷积块会将特征图 的通道数量减半。首先使用 concat 操作将来自编码器的特征 A1 和来自解码器的特征 A2 进 行拼接，通过卷积提取特征，随后经过维度变换获取 B 个基向量组成的矩阵 P，再将 A1 正 交投影到该子空间，获得对应的子空间特征 D。在实验中，B 的取值为 16。NBNet 已经证明选择将 A1 投影到子空间的效果优于选择 A2 。 NBMP 模块通过将图像特征正交投影到子空间，从而将噪声分量与图像信息解耦开来，能够 更有效地去除噪声和保护图像信息。相比而言，传统方法中人工构造的正交基难以将噪声 分量和图像信息有效解耦，导致图像去噪能力有限，而 NBPM 模块以数据驱动的方式学习得 到基向量，能最大程度地解耦噪声分量和图像信息，再使用不同的卷积核对它们进行处理， 可以实现更好的去噪性能。子空间投影过程如下式所示： D = P(PT P)一1PTA1 。 （1）不同于 Liu 等23-24和Chen 等25提出的方法，这些方法采用字典学习，将字典中的基线 性组合的系数需要满足一定的稀疏约束条件。在本文所提的方法中，投影结果 D 的每个通 道都可以视为一组基的线性组合，但组合系数不需要满足稀疏约束条件。不同于 Yin 等26 和Lyu 等27提出的方法，这些方法需要使用CT 投影数据训练网络，SPEENet 的训练过程不 需要 CT 投影数据。本文采用的损失函数，公式如下： L = G (x)一y1 ， （2） 其中， G() 表示 SPEENet，x 表示输入的低剂量CT 图像，y 代表对应的正常剂量的 CT 图像。2 实验结果和分析本节介绍数据集和训练细节，并展示实验结果。为验证 SPEENet 的有效性，本文采用 RED-CNN8 、FBPConvNet28进行对比实验 。 同时，为证明 NBPM 模块的有效性，本文去除SPEENet 中的 NBPM 模块；为证明利用Sobel算子提取的边缘信息能够提升网络的去噪效果， 本文去除 SPEENet 中的边缘信息编码流。将这两种架构分别记为 SPEENet1 和 SPEENet2 并 进行了消融实验。2.1 数据集本文采用 Mayo Clinic 授权用于 “ the 2016 NIH-AAPM-Mayo Clinic Low Dose CT Grand Challenge”29的数据集。数据集包含来自 10 位匿名患者的正常剂量和 1/4 剂量的 CT 图像，本文使用 9 位患者的 2 167 张 CT 图像作为训练集，用剩下 1 位患者的 211 张图像 作为测试集。2.2 训练细节实验所用的 CPU 是 Intel（R） Xeon（R） CPU E5-2650 v4 2.20GHzGPU 是一张 NVIDIA GeForce GTX 1080Ti。模型采用 PyTorch 深度学习框架构建，网络采用 Adam30优 化器，学习率是 0.00002，批处理大小是 32，共训练 400 轮。在训练过程中，将图片随机 裁切成 64 64 的图像块作为输入，并将正常剂量 CT 图像对应图像块作为标签。2.3 实验结果来自患者 L506 的 211 张 512 512 的 1/4 剂量 CT 图像参与了测试，在 FBPConvNet、 RED-CNN、SPEENet1、SPEENet2 和本文方法 SPEENet 上的实验结果如图 3图 6 所示。可以 观察到，1/4 剂量的 CT 图像中有明显的噪声和条状伪影，FBPConvNet 能够去除一定的噪声 和伪影，但去噪结果过于平滑，丢失了较多细节 。经典方法 RED-CNN 的去噪效果较于 FBPConvNet 更好，但其结果仍然偏于平滑，存在部分细节特征的丢失。（a）原图 （b）1/4 剂量 （c）FBPConvNet（d）RED-CNN （e）SPEENet1 （f）SPEENet2 （g）SPEENet图 3 测试结果 1，显示窗口为 -160,240 HUFig.3 The test result 1, and the display window is -160,240 HU由于 SPEENet1 没有 NBPM 模块，没有有效建立编码器和解码器特征的联系，细节的丢 失更加严重，出现明显的过平滑效应。由于 SPEENet2 去除了边缘信息编码流，也丢失了部 分细节、出现一定的过平滑效应。相比之下，SPEENet 能够提供最佳的去噪效果，在基本去除噪声和伪影的同时，保留了更多的细节信息。（a）原图 （b）1/4 剂量 （c）FBPConvNet（d）RED-CNN （e）SPEENet1 （f）SPEENet2 （g）SPEENet图 4 测试结果 1 的局部Fig.4 The local part of the test result 1（a）原图 （b）1/4 剂量 （c）FBPConvNetd）RED-CNN （e）SPEENet1 （f）SPEENet2 （g）SPEENet图 5 测试结果 2，显示窗口为 -160,240 HUFig.5 The test result 2, and the display window is -160,240 HU除了上述的视觉结果对比，本文也对不同方法的结果进行了定量评价，评价指标包括 峰值信噪比（peak signal to noise ratio，PSNR）和结构相似度（structural similarity index metric，SSIM）。量化结果如表 1 所示，不难发现，SPEENet 的两种量化指标均领先 于经典方法 FBPConvNet 和 RED-CNN，而 PSNR 略微低于 SPEENet1 和 SPEENet2，这是因为 SPEENet1 和 SPEENet2 中的过平滑会降低均方根误差结果。但从 SSIM 指标的对比中可以看 出，SPEENet 的 SSIM 指标优于其他对比方法，说明其视觉效果更加优秀，所保留的结构和 细节更多，更具有临床诊断价值。（a）原图 （b）1/4 剂量 （c）FBPConvNet（d）RED-CNN （e）SPEENet1 （f）SPEENet2 （g）SPEENet图 6 测试结果 2 的局部Fig.6 The local part of the test result 2表 1 去噪结果的PSNR 和 SSIMTable 1 PSNR and SSIM of the denoised results方法FBPConvNetRED-CNNSPEENet1SPEENet2SPEENetPSNR32.10432.73133.20433.23333.072SSIM0.9190.9160.9200.9220.9233 结语本文提出一种基于子空间投影和边缘增强的低剂量 CT 去噪网络 SPEENet。该网络通过 增加对边缘信息的关注并引入子空间投影技术有效建立编码器与解码器对应层级特征关系， 获取较好的去噪效果。实验结果表明，与经典的FBPConvNet和 RED-CNN 相比，本文的方法 能更好地抑制噪声，验证了 SPEENet 的有效性。此外，通过 SPEENet 和 SPEENet1 的对比， 说明子空间投影技术有助于在去噪结果中保留细节；通过SPEENet和 SPEENet2 的对比，说 明通过Sobel算子提取的边缘信息对去噪结果中的细节保留亦有一定帮助。在未来的研究中，我们将基于此网络进行改进，进一步探索子空间投影技术在低剂量 CT 去噪和其他医学图像重建方面的应用。参考文献1 PAN X, SIDKY E Y, VANNIER M. Why do commercial CT scanners still employ traditional, filtered back-projection for image reconstruction?J. Inverse Problems, 2009, 25(12): 123009.2 WANG J, LI T, LU H, et al. Penalized weighted least-squares approach to sinogram noise reduction and image reconstruction for low-dose X-ray computed tomographyJ. IEEE Transactions on Medical Imaging, 2006, 25(10): 1272-1283.3 MANDUCA A, YU L, TRZASKO J D, et al. Projection space denoising with bilateral filtering and CT noise modeling for dose reduction in CTJ. Medical Physics, 2009, 36(11): 4911-4919.4 XU Q, YU H, MOU X, et al. Low-dose X-ray CT reconstruction via dictionary learningJ. IEEE Transactions on Medical Imaging, 2012, 31(9): 1682-1697.