基于双域自适应网络的岩矿样工业CT图像金属伪影校正算法研究.docx

基于双域自适应网络的岩矿样工业 CT图像金属伪影校正算法研究摘要：岩矿样中包含有大量高密度金属物质，致使其在工业 CT 图像上产生了金属伪影，严重 影响岩矿样参数分析的准确性。为抑制岩矿样 CT 图像的金属伪影，本文提出一种基于双域自 适应网络的岩矿样 CT 图像金属伪影校正算法（DDA-CNN-MAR），将含有金属伪影的 CT 图像分 别通过投影域网络和图像域网络进行金属伪影的抑制， 自适应融合双域处理结果，实现由含 伪影图像到无伪影图像的端到端映射。该算法以残差编解码网络模型（RED-CNN）为基础，易 于提取特征并恢复图像细节；双域结构可自适应调整投影域（伪影抑制）和图像域（细节修 复） 的权重，借以获得最优的校正结果 。研究结果表明，较之于 RED-CNN-MAR，经过 DDA- CNN-MAR 方法校正的图像，MSE 减小 2.570，而 PSNR 和 SSIM 则分别提高 1.218dB 和 0.018， 有效提升岩矿样 CT 成像的图像质量。关键词：工业CT；深度学习；校正算法；金属岩矿样；金属伪影众所周知，显微计算机断层扫描成像（micro computed tomography，micro-CT）是一 种能够将待测物体的微观结构进行图像可视化的无损检测技术，通过计算穿透被扫描物体 的 X 射线衰减值，获取物体的断层图像1 ，从而得到待测物体内部的结构（或缺陷）和材 质（或密度）等信息，已广泛应用于生命科学、材料科学、地球科学等诸多领域2。针对包含有高密度金属的岩矿样品，在进行 micro-CT 扫描时，由于金属对于 X 射线具 有较强的吸收率，引起强衰减甚至完全阻挡了入射 X 射线，致使探测器所接收的是缺失或 损坏了的投影数据3 。当采用传统滤波反投影方法（filtered back projection，FBP）重 建 CT 图像时，将出现明、暗相间的放射状条纹，即“金属伪影”。金属伪影会严重影响 CT 成像质量，降低图像清晰度，对岩矿样品内部结构信息、密度信息的计算带来严重干扰4。 因此，如何减少或降低岩矿样工业 CT 图像中的金属伪影是一个关键技术问题。传统的金属伪影校正（metal artifact reduction，MAR）方法主要分为 4 类，即基于物理效应的预处理方法、投影域金属伪影插值校正算法（ linear interpolation normal metal artifact reduction，LI-NMAR）、投影域迭代校正算法和投影域混合校正算法。基于物理效应的预处理方法是依据 CT 投影的局部统计特性，对形成伪影的物理效应建 立模型并拟合校正曲线，进而利用滤波、迭代等方法对数据进行校正以改善重建结果，该 方法虽能在一定程度上抑制金属伪影，但距离实用仍有很大局限。LI-NMAR 是应用最多的 金属伪影校正算法，该算法主要使用插值策略来估计并填充缺失的数据，但难以保证插值 边界处的平滑度，且滤波后会引入新的伪影干扰5 。迭代校正算法的思想是建立目标图像 的投影值与CT 探测器实际采集的投影值之间的插值函数，通过最小化目标函数寻找最接近 目标图像的重建结果，该方法具有较强的抗噪性能，可以直接修正金属伪影，但步骤复 杂，繁琐耗时，实用性受到一定限制6 。混合校正算法是结合不同校正机制多种方法的组 合，混合技术对特定对象的金属伪影校正效果明显，但泛化性尚需提升。目前，深度学习（deep learnin，DL）在图像分类7 、 目标检测8及图像去噪9等领 域已有成功的应用，基于深度学习的金属伪影校正算法，在医学成像领域亦显示出了巨 大的应用潜力，国内外已经提出了多种基于深度学习的金属伪影校正算法，例如，使用卷 积神经 网络（ convolutional neural network，CNN）10和 生成对抗 网络（ generative adversarial net，GANs）11来恢复被金属伪影覆盖的数据。2018 年，Zhang 等12提出了一 种融合了多种MAR 方法的 CNN 框架，以此提高伪影校正的性能；2019 年，Liao 等13提出了 一种新的无监督伪影分离网络（artifact disentanglement network，ADN）；2020 年，马 燕等 14提 出 了一种基于残差编解码 网络（ residual encoderdecoder convolutional neural network，RED-CNN）的金属伪影校正（RED-CNN-MAR）算法，这些校正算法均获得 了较好的伪影抑制效果。然而，上述算法研究均是针对医学 CT 图像的金属伪影校正，难以直接将其移植至岩矿 样品工业 CT 图像的金属伪影校正。因此，为了提升岩矿样工业 CT 成像质量，恢复图像细 节，本文研究一种双域自适应金属伪影校正算法（dual-domain adaptive convolutional neural network metal artifact reduction，DDA-CNN-MAR），将包含有金属伪影的工业 CT 图像分别通过投影域网络和图像域网络进行金属伪影的抑制，融合双域处理结果。由于 网络取消全连接层，因而能够自适应输入图像的大小，实现含伪影图像到无伪影图像端到 端映射，从而达到金属伪影校正的目的。1 原理与方法1.1 基本原理双域自适应网络算法是将 LI-NMAR 和 RED-CNN-MAR 方法融合，以此共同校正金属伪影。这 两种方法的融合可以避免图像中信息的丢失和二次伪影的产生，有效进行数据的恢复。为 此，将含有金属伪影的 CT 图像先后通过投影域网络和图像域网络，这样的网络结构既可以 利用来自投影域的信息对金属伪影进行消除，又能通过图像域对图像的信息进行修复。DDA-CNN-MAR 算法网络结构（图 1）由 4 部分组成：投影域增强网络、投影层、图像域 增强网络、反投影层。图中“投影层 ”表示投影操作算子，其将输入图像通过投影的方式映射至投影域，得到图像的正弦图。“反投影层 ”表示反投影操作算子，表示将投影域的正弦图通过反投影 的方式映射至图像域，得到重建后的图像。图 1 双域自适应网络结构原理图Fig.1 Dual-domain adaptive convolutional neural network structure投影域增强网络以及图像域增强网络均为 RED-CNN 网络结构，投影域增强网络输入的 是正弦域投影，图像域增强网络输入的是图像域上待增强的图像。LI-NMAR 为插值校正模 块，能够对输入的图像在正弦域进行插值校正。模型的输入包括带有金属伪影的图片 Xin Rmn ，经过投影层后转化为正弦图 Yin 。再 依次通过 LI-NMAR，先、后输入投影域增强网络和图像域增强网络，最后得到校正后的 CT 图像Xout 15。1.2 研究方法1.2.1 基于 RED-CNN 的金属伪影校正模型假设 X Rmn 为带有金属伪影的 CT 重建图，而 Y Rmn 是对应的正常的 CT 重建图， 可以列出二者的关系式为： X = (Y) ， （1） 其中 ：Rmn Rmn 表示图像由无金属伪影到有金属伪影的矩阵变换。这样，能够将问题 转化为求函数 f ： f = arg min （2）其中 f 被看作 1 的最佳近似值， 1 代表金属伪影校正网络的矩阵变换。1.2.2 RED-CNN 金属伪影校正网络本文研究的是一种将 RED-CNN 作为基础单元的金属伪影校正网络结构，其网络结构 如图 2 所示 。该网络主要包括两个模块 ：编码模块和解码模块 。编码模块有 5 层卷积 层 ，每一层 的组成部分是卷积层（ convolutional layer，Conv）、 归一化层（ batch normalization，BN）、激活函数（rectified linear activation functionReLU），能够实现特征提取；解码模块包括 5 层反卷积层，每一层的组成部分是 Conv + BN + ReLU，能够 实现特征重组。在编码模块和解码模块之间，增加了一些连接借以形成残差网络，保护图 像信息的完整性16。 卷积层归一化层ReLU 激活函数逆卷积层编码过程nBn解码过程图 2 RED-CNN-MAR 网络结构示意图Fig.2 RED-CNN-MAR network structure当用于金属伪影校正时，RED-CNN 网络可以消除大部分的金属伪影，但是在平坦区域 仍然有一部分窄带状伪影。为了更好地恢复图像细节并完成金属伪影端到端的映射，本文 考虑使用两个 RED-CNN 网络分别从图像域和投影域同时进行模型训练，以此获得更高精 度的校正。1.2.3 投影域增强网络和图像域增强网络在投影域增强网络中，对于输入的图片 Xin ，在经过一次平行投影变换后转换为 Yin ， 经过 LI-NMAR 后输出 YLI 。而后，将其输入投影域增强网络，得到初步校正后的输出 Yout 。 假设投影域网络的矩阵运算为 1 ，则 Yout 和 YLI 有如下关系：（3）Yout = 1 (YLI )。损失函数使用均方误差来进行评定，使用损失值 L1 和 L2 来训练投影域增强网络：（4）（5）其中 f 为平行投影变换， f1为投影反变换。-在图像域增强网络中，对于输入的正弦图像 Yout ，经过 FBP 反投影后转换为 X ，再通 过网络矩阵运算后的输出为 Xout 。假设投影域网络的矩阵运算为 2 ，则网络输出 Xout 同输-入图像 X 之间有如下关系式：（6）为了准确检测模型预测值和真实值之间的偏差，损失函数同样使用均方误差来进行评定，使用损失值 L3 来训练图像域增强网络： （7）-其中 Xout 和 C 分别是图像域增强网络输出的图像和数据集对应的无金属伪影图像。 假设整体网络的损失函数为 L ，则有： L = L1 + L2 + L3 。 （8）2 实验结果与分析2.1 实验环境与数据集本文数据集通过微焦点工业 CT 扫描含高密度金属的岩矿样获得 ，CT 图像大小为 256 256，共 6600 组，并对金属伪影区域进行了人工标注。为保证训练所得模型的有效 性，我们将数据集分为训练集和测试集两部分，其中训练集占80 ，测试集占 20。文 中算法是在 PyCharm 平 台上使用 PyTorch 框架完成训练及测试 。运行平 台采用 Intel（R）Core（TM）i5-9600 KF CPU，主频 3.70GHz，NVIDIA TITAN V 显卡，电脑内存 16G。训练次数设置为 1000 轮，采用 =（0.9，0.999）的目标函数优化器，学习率设置 为 1 105 。（a）原始图像 （b）参考图像 （c）LI-NMAR 校正结果（d）RED-CNN-MAR 校正结果 （e）本文算法的投影域输出 （f）本文算法校正结果图 3 一号样本的实验结果对比图Fig.3 Comparison of experimental results of sample No.12.2 实验结果利用 LI-NMAR 算法17 ，RED-CNN-MAR 算法16 ，DDA-CNN-MAR 的投影域输出作为本文的实 验对照组。随机选取测试集中的样本进行对比测试（图 3），其中，LI-NMAR 和 RED-CNN-MAR 是为了验证 DDA-CNN-MAR 在金属伪影校正方面的优越性；引入 DDA-CNN-MAR 的投影域-输出 X 是为了观测 DDA-CNNMAR 引入图像校正网络是否提升了校正质量。图 3（a）图 3（f）分别对应 1 号样本的原始图像、参考图像、LI-NMAR 校正结果、-RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 4 为图 3 对应 的区域局部放大图。（a）原始图像 （b）参考图像 （c）LI-NMAR 校 正图像（d）RED-CNN-MAR 校正图像（e）双域自适应网络 的投影域输出（f）双域自适应 网络输出图 4 为图 3 中（a）（f）对应的区域局部放大图 Fig.4 The zoomed ROI area of Fig.3，respectively图 5（a）图 5（f）分别对应 2 号样本的原始图像、参考图像、LI-NMAR 校正结果、-RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 6 为图 5 对应 的区域局部放大图。（a）原始图像（d）RED-CNN-MAR 校正结果（b）参考图像（e）本文算法的投影域输出（c）LI-NMAR 校正结果（f）本文算法校正结果图 5 二号样本的实验结果对比图Fig.5 Comparison of experimental results of sample No.2由此可见，两组样本经过不同算法校正后，所有算法对于原有的金属伪影均产生了一 定的抑制效果。同时，对比 4 种金属伪影去噪算法，DDA-CNN-MAR 的伪影抑制效果最好。由图 3 和图 5 不难看出，LI-NMAR 算法引入了黑白相间的二次伪影，校正效果难说优 良；RED-CNN-MAR 和本文算法的投影域输出均能对金属伪影有一定的抑制，但前者对于较严重的伪影并未完全抑制，复原图中仍然有射线状的背景；后者不能很好地保留图像底层 的信息，且呈现明显模糊；相对而言，本文算法较好地的恢复了伪影覆盖的区域，图像呈 现较好的均匀性，且图像质量相比投影域输出结果具有显著提升，说明引入图像域校正网 络有其必要性。但校正图像整体上有所平滑，在边缘部分仍有模糊。（a）原始图像 （b）参考图像 （c）LI-NMAR 校 （d）RED-CNN-MAR 正结果 校正结果（e）本文算法的投 影域输出（f）本文算法校 正结果图 6 为图 5 中（a）（f）对应的区域局部放大图Fig.6 (a)-(f) are zoomed ROI area of Fig.5，respectively进而，本文通过结构相似指数（structural similarity index measure，SSIM）、峰 值信噪比（peak signal to noise ratio，PSNR）和均方误差（mean square error，MSE）等指标，量化评价本文算法的效果。（9）（10）（11）式（9）式（11）中，x 和y 分别为目标图像和重建图像 C1 和 C2 为常数， x 和 y分别为 x 和y 的均值， x(2)和 y(2)分别为 x 和 y 的方差， xy 为 x 和y 的协方差，N 为一幅图像中总的像素点个数，h 和 w 分别为图像的长和宽， max(x) 表示最大值算子，找出 x 中最 大的像素值。对于上述 3 个参数而言，SSIM 值与 PSNR 值越大，表明重建图像细节恢复越好， 目标 图像与重建图像之间结构相似性越高，图像失真较小；MSE 值越小，表明重建图像与目标 图像之间像素值的偏差越小，重建图像质量较高。为了验证本文算法的鲁棒性，我们对所有测试集进行了测试，并计算 SSIM、PSNR 和 MSE 三类评价指标的均值（表 1）。在 1 号样本和 2 号样本以及所用样本的平均值中，本文 算法相较于 LI-NMAR 和 RED-CNN-MAR 算法而言，校正性能有明显的提升。在所有测试集中，平均而言，与未经校正的原始图像相比，本文算法校正后其 MSE 减 小了 3.427，而 PSNR 和 SSIM 则分别提高了 11.989 dB 和 0.076。较之于 LI-NMAR 和 RED- CNN-MAR 算法，本文算法的 SSIM 值分别提高了 0.086 和 0.018，PSNR 值提高了 13.235 dB和 1.218 dB，MSE 也分别减小了 21.927 和 2.570。可见，与 LI-NMAR 和 RED-CNN-MAR 算法 相比较，双域自适应网络均取得了较高的 SSIM、PSNR 和较低的 MSE。表 1 多种算法的定量评价结果一览表Table 1 Quantitative evaluation results by multiple algorithms指标方法1 号样本2 号样本平均值SSIM原始图像0.8770.8610.854LI-NMAR0.8580.8760.844RED-CNN-MAR0.9180.9300.912X0.8680.8890.861本文算法0.9290.9460.930原始图像22.30821.69822.985LI-NMAR19.63420.87421.739PSNR/dBRED-CNN-MAR33.31634.07933.756X28.51628.97627.420本文算法33.82136.80634.974原始图像6.4987.4426.811LI-NMAR23.48423.08925.311MSERED-CNN-MAR4.0075.4215.954X17.03216.55712.107本文算法3.6943.0273.3843 结论含有大量高密度金属物质的岩矿样在进行 CT 扫描时会产生大量金属伪影，为基于 CT 图像的岩矿样参数计算带来严重干扰。针对这一问题，本文研究了一种基于双域自适应网 络的岩矿样 CT 图像金属伪影校正算法DDA-CNN-MAR），主要结论或成果：（1）岩矿样 CT 图像包含有金属伪影的 CT 图像，能够通过含有投影域网络和图像域网 络的双域自适应网络进行金属伪影的抑制，从而获得高质量的岩矿样 CT 图像。（2）双域自适应网络结构，其实质是自适应调整投影域进行伪影抑制的权重和自适应 调整图像域进行细节修复的权重，实现基于双域自适应网络的岩矿样 CT 图像金属伪影校正 工作，此为进一步深入分析岩矿样的内部结构、孔隙度等参数奠定了基础。致谢：感谢中国地质科学院矿产资源研究所提供了岩矿样样品。参考文献1 何鹏, 魏彪, 陈超, 等. 华南成矿省福建魁歧晶洞花岗岩样品孔隙结构的工业 X-CT 三维可视化 研究J. 地质学报, 2014，88(4): 777-783.HE P, WEI B, CHEN C, et al. The three-dimensional visualization study on pore structure of Fujian Kuiqi geode granite sample in South China metallogenic belt based on industrial computed tomographyJ. Acta Geologica Sinica, 2014, 88(4): 777-783. (in Chinese).2 TSAFNAT N, TSAFNAT G, JONES A S. Automated mineralogy using finite element analysis and X-ray microtomographyJ. Minerals Engineering, 2009, 22(2): 149-155.