基于双域自适应网络的岩矿样工业CT图像金属伪影校正算法研究.docx

基于双域自适应网络的岩矿样工业 CT
图像金属伪影校正算法研究

摘要：岩矿样中包含有大量高密度金属物质，致使其在工业 CT 图像上产生了金属伪影，严重 影响岩矿样参数分析的准确性。为抑制岩矿样 CT 图像的金属伪影，本文提出一种基于双域自 适应网络的岩矿样 CT 图像金属伪影校正算法（DDA-CNN-MAR），将含有金属伪影的 CT 图像分 别通过投影域网络和图像域网络进行金属伪影的抑制， 自适应融合双域处理结果，实现由含 伪影图像到无伪影图像的端到端映射。该算法以残差编解码网络模型（RED-CNN）为基础，易 于提取特征并恢复图像细节；双域结构可自适应调整投影域（伪影抑制）和图像域（细节修 复） 的权重，借以获得最优的校正结果 。研究结果表明，较之于 RED-CNN-MAR，经过 DDA- CNN-MAR 方法校正的图像，MSE 减小 2.570，而 PSNR 和 SSIM 则分别提高 1.218dB 和 0.018， 有效提升岩矿样 CT 成像的图像质量。
关键词：工业CT；深度学习；校正算法；金属岩矿样；金属伪影

众所周知，显微计算机断层扫描成像（micro computed tomography，micro-CT）是一 种能够将待测物体的微观结构进行图像可视化的无损检测技术，通过计算穿透被扫描物体 的 X 射线衰减值，获取物体的断层图像[1] ，从而得到待测物体内部的结构（或缺陷）和材 质（或密度）等信息，已广泛应用于生命科学、材料科学、地球科学等诸多领域[2]。
针对包含有高密度金属的岩矿样品，在进行 micro-CT 扫描时，由于金属对于 X 射线具 有较强的吸收率，引起强衰减甚至完全阻挡了入射 X 射线，致使探测器所接收的是缺失或 损坏了的投影数据[3] 。当采用传统滤波反投影方法（filtered back projection，FBP）重 建 CT 图像时，将出现明、暗相间的放射状条纹，即“金属伪影”。金属伪影会严重影响 CT 成像质量，降低图像清晰度，对岩矿样品内部结构信息、密度信息的计算带来严重干扰[4]。 因此，如何减少或降低岩矿样工业 CT 图像中的金属伪影是一个关键技术问题。
传统的金属伪影校正（metal artifact reduction，MAR）方法主要分为 4 类，即基于

物理效应的预处理方法、投影域金属伪影插值校正算法（ linear interpolation normal metal artifact reduction，LI-NMAR）、投影域迭代校正算法和投影域混合校正算法。
基于物理效应的预处理方法是依据 CT 投影的局部统计特性，对形成伪影的物理效应建 立模型并拟合校正曲线，进而利用滤波、迭代等方法对数据进行校正以改善重建结果，该 方法虽能在一定程度上抑制金属伪影，但距离实用仍有很大局限。LI-NMAR 是应用最多的 金属伪影校正算法，该算法主要使用插值策略来估计并填充缺失的数据，但难以保证插值 边界处的平滑度，且滤波后会引入新的伪影干扰[5] 。迭代校正算法的思想是建立目标图像 的投影值与CT 探测器实际采集的投影值之间的插值函数，通过最小化目标函数寻找最接近 目标图像的重建结果，该方法具有较强的抗噪性能，可以直接修正金属伪影，但步骤复 杂，繁琐耗时，实用性受到一定限制[6] 。混合校正算法是结合不同校正机制多种方法的组 合，混合技术对特定对象的金属伪影校正效果明显，但泛化性尚需提升。
目前，深度学习（deep learnin，DL）在图像分类[7] 、 目标检测[8]及图像去噪[9]等领 域已有成功的应用，基于深度学习的金属伪影校正算法，在医学成像领域亦显示出了巨 大的应用潜力，国内外已经提出了多种基于深度学习的金属伪影校正算法，例如，使用卷 积神经 网络（ convolutional neural network，CNN）[10]和 生成对抗 网络（ generative adversarial net，GANs）[11]来恢复被金属伪影覆盖的数据。2018 年，Zhang 等[12]提出了一 种融合了多种MAR 方法的 CNN 框架，以此提高伪影校正的性能；2019 年，Liao 等[13]提出了 一种新的无监督伪影分离网络（artifact disentanglement network，ADN）；2020 年，马 燕等 [14]提 出 了一种基于残差编解码 网络（ residual encoder－decoder convolutional neural network，RED-CNN）的金属伪影校正（RED-CNN-MAR）算法，这些校正算法均获得 了较好的伪影抑制效果。
然而，上述算法研究均是针对医学 CT 图像的金属伪影校正，难以直接将其移植至岩矿 样品工业 CT 图像的金属伪影校正。因此，为了提升岩矿样工业 CT 成像质量，恢复图像细 节，本文研究一种双域自适应金属伪影校正算法（dual-domain adaptive convolutional neural network metal artifact reduction，DDA-CNN-MAR），将包含有金属伪影的工业 CT 图像分别通过投影域网络和图像域网络进行金属伪影的抑制，融合双域处理结果。由于 网络取消全连接层，因而能够自适应输入图像的大小，实现含伪影图像到无伪影图像端到 端映射，从而达到金属伪影校正的目的。
1 原理与方法
1.1 基本原理
双域自适应网络算法是将 LI-NMAR 和 RED-CNN-MAR 方法融合，以此共同校正金属伪影。这 两种方法的融合可以避免图像中信息的丢失和二次伪影的产生，有效进行数据的恢复。为 此，将含有金属伪影的 CT 图像先后通过投影域网络和图像域网络，这样的网络结构既可以 利用来自投影域的信息对金属伪影进行消除，又能通过图像域对图像的信息进行修复。
DDA-CNN-MAR 算法网络结构（图 1）由 4 部分组成：投影域增强网络、投影层、图像域 增强网络、反投影层。
图中“投影层 ”表示投影操作算子，其将输入图像通过投影的方式映射至投影域，得

到图像的正弦图。“反投影层 ”表示反投影操作算子，表示将投影域的正弦图通过反投影 的方式映射至图像域，得到重建后的图像。

图 1 双域自适应网络结构原理图
Fig.1 Dual-domain adaptive convolutional neural network structure
投影域增强网络以及图像域增强网络均为 RED-CNN 网络结构，投影域增强网络输入的 是正弦域投影，图像域增强网络输入的是图像域上待增强的图像。LI-NMAR 为插值校正模 块，能够对输入的图像在正弦域进行插值校正。
模型的输入包括带有金属伪影的图片 Xin ∈ Rm×n ，经过投影层后转化为正弦图 Yin 。再 依次通过 LI-NMAR，先、后输入投影域增强网络和图像域增强网络，最后得到校正后的 CT 图像Xout [15]。
1.2 研究方法
1.2.1 基于 RED-CNN 的金属伪影校正模型
假设 X ∈ Rm×n 为带有金属伪影的 CT 重建图，而 Y ∈ Rm×n 是对应的正常的 CT 重建图， 可以列出二者的关系式为：
X = σ(Y) ， （1） 其中 σ：Rm×n → R′m×n 表示图像由无金属伪影到有金属伪影的矩阵变换。这样，能够将问题 转化为求函数 f ：
f = arg min （2）
其中 f 被看作 σ−1 的最佳近似值， σ−1 代表金属伪影校正网络的矩阵变换。
1.2.2 RED-CNN 金属伪影校正网络
本文研究的是一种将 RED-CNN 作为基础单元的金属伪影校正网络结构，其网络结构 如图 2 所示 。该网络主要包括两个模块 ：编码模块和解码模块 。编码模块有 5 层卷积 层 ，每一层 的组成部分是卷积层（ convolutional layer，Conv）、 归一化层（ batch normalization，BN）、激活函数（rectified linear activation function，ReLU），能够

实现特征提取；解码模块包括 5 层反卷积层，每一层的组成部分是 Conv + BN + ReLU，能够 实现特征重组。在编码模块和解码模块之间，增加了一些连接借以形成残差网络，保护图 像信息的完整性[16]。

卷积层



归一化层


ReLU 激活函数


逆卷积层

编码过程

nBn

解码过程

图 2 RED-CNN-MAR 网络结构示意图
Fig.2 RED-CNN-MAR network structure
当用于金属伪影校正时，RED-CNN 网络可以消除大部分的金属伪影，但是在平坦区域 仍然有一部分窄带状伪影。为了更好地恢复图像细节并完成金属伪影端到端的映射，本文 考虑使用两个 RED-CNN 网络，分别从图像域和投影域同时进行模型训练，以此获得更高精 度的校正。
1.2.3 投影域增强网络和图像域增强网络
在投影域增强网络中，对于输入的图片 Xin ，在经过一次平行投影变换后转换为 Yin ， 经过 LI-NMAR 后输出 YLI 。而后，将其输入投影域增强网络，得到初步校正后的输出 Yout 。 假设投影域网络的矩阵运算为 δ1 ，则 Yout 和 YLI 有如下关系：
（3）
Yout = δ1 (YLI )。
损失函数使用均方误差来进行评定，使用损失值 L1 和 L2 来训练投影域增强网络：
（4）

（5）

其中 f 为平行投影变换， f−1为投影反变换。
-
在图像域增强网络中，对于输入的正弦图像 Yout ，经过 FBP 反投影后转换为 X ，再通 过网络矩阵运算后的输出为 Xout 。假设投影域网络的矩阵运算为 δ2 ，则网络输出 Xout 同输

-
入图像 X 之间有如下关系式：




（6）

为了准确检测模型预测值和真实值之间的偏差，损失函数同样使用均方误差来进行评

定，使用损失值 L3 来训练图像域增强网络：
（7）
-
其中 Xout 和 C 分别是图像域增强网络输出的图像和数据集对应的无金属伪影图像。 假设整体网络的损失函数为 L ，则有：
L = L1 + L2 + L3 。 （8）
2 实验结果与分析
2.1 实验环境与数据集
本文数据集通过微焦点工业 CT 扫描含高密度金属的岩矿样获得 ，CT 图像大小为 256 × 256，共 6600 组，并对金属伪影区域进行了人工标注。为保证训练所得模型的有效 性，我们将数据集分为训练集和测试集两部分，其中训练集占80％ ，测试集占 20％。
文 中算法是在 PyCharm 平 台上使用 PyTorch 框架完成训练及测试 。运行平 台采用 Intel（R）Core（TM）i5-9600 KF CPU，主频 3.70GHz，NVIDIA TITAN V 显卡，电脑内存 16G。训练次数设置为 1000 轮，采用 β =（0.9，0.999）的目标函数优化器，学习率设置 为 1× 10−5 。

（a）原始图像 （b）参考图像 （c）LI-NMAR 校正结果

（d）RED-CNN-MAR 校正结果 （e）本文算法的投影域输出 （f）本文算法校正结果
图 3 一号样本的实验结果对比图
Fig.3 Comparison of experimental results of sample No.1

2.2 实验结果
利用 LI-NMAR 算法[17] ，RED-CNN-MAR 算法[16] ，DDA-CNN-MAR 的投影域输出作为本文的实 验对照组。随机选取测试集中的样本进行对比测试（图 3），其中，LI-NMAR 和 RED-CNN-

MAR 是为了验证 DDA-CNN-MAR 在金属伪影校正方面的优越性；引入 DDA-CNN-MAR 的投影域
-
输出 X 是为了观测 DDA-CNN-MAR 引入图像校正网络是否提升了校正质量。
图 3（a）～图 3（f）分别对应 1 号样本的原始图像、参考图像、LI-NMAR 校正结果、
-
RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 4 为图 3 对应 的区域局部放大图。

（a）原始图像 （b）参考图像 （c）LI-NMAR 校 正图像


（d）RED-CNN-MAR 校正图像


（e）双域自适应网络 的投影域输出


（f）双域自适应 网络输出

图 4 为图 3 中（a）～（f）对应的区域局部放大图 Fig.4 The zoomed ROI area of Fig.3，respectively
图 5（a）～图 5（f）分别对应 2 号样本的原始图像、参考图像、LI-NMAR 校正结果、
-
RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 6 为图 5 对应 的区域局部放大图。

（a）原始图像

（d）RED-CNN-MAR 校正结果


（b）参考图像

（e）本文算法的投影域输出


（c）LI-NMAR 校正结果

（f）本文算法校正结果

图 5 二号样本的实验结果对比图
Fig.5 Comparison of experimental results of sample No.2
由此可见，两组样本经过不同算法校正后，所有算法对于原有的金属伪影均产生了一 定的抑制效果。同时，对比 4 种金属伪影去噪算法，DDA-CNN-MAR 的伪影抑制效果最好。
由图 3 和图 5 不难看出，LI-NMAR 算法引入了黑白相间的二次伪影，校正效果难说优 良；RED-CNN-MAR 和本文算法的投影域输出均能对金属伪影有一定的抑制，但前者对于较

严重的伪影并未完全抑制，复原图中仍然有射线状的背景；后者不能很好地保留图像底层 的信息，且呈现明显模糊；相对而言，本文算法较好地的恢复了伪影覆盖的区域，图像呈 现较好的均匀性，且图像质量相比投影域输出结果具有显著提升，说明引入图像域校正网 络有其必要性。但校正图像整体上有所平滑，在边缘部分仍有模糊。

（a）原始图像 （b）参考图像 （c）LI-NMAR 校 （d）RED-CNN-MAR 正结果 校正结果


（e）本文算法的投 影域输出


（f）本文算法校 正结果

图 6 为图 5 中（a）～（f）对应的区域局部放大图
Fig.6 (a)-(f) are zoomed ROI area of Fig.5，respectively
进而，本文通过结构相似指数（structural similarity index measure，SSIM）、峰 值信噪比（peak signal to noise ratio，PSNR）和均方误差（mean square error，MSE）

等指标，量化评价本文算法的效果。



（9）

（10）

（11）

式（9）～式（11）中，x 和y 分别为目标图像和重建图像， C1 和 C2 为常数， μx 和 μy
分别为 x 和y 的均值， σx(2)和 σy(2)分别为 x 和 y 的方差， σxy 为 x 和y 的协方差，N 为一幅图
像中总的像素点个数，h 和 w 分别为图像的长和宽， max(x) 表示最大值算子，找出 x 中最 大的像素值。
对于上述 3 个参数而言，SSIM 值与 PSNR 值越大，表明重建图像细节恢复越好， 目标 图像与重建图像之间结构相似性越高，图像失真较小；MSE 值越小，表明重建图像与目标 图像之间像素值的偏差越小，重建图像质量较高。
为了验证本文算法的鲁棒性，我们对所有测试集进行了测试，并计算 SSIM、PSNR 和 MSE 三类评价指标的均值（表 1）。在 1 号样本和 2 号样本以及所用样本的平均值中，本文 算法相较于 LI-NMAR 和 RED-CNN-MAR 算法而言，校正性能有明显的提升。
在所有测试集中，平均而言，与未经校正的原始图像相比，本文算法校正后其 MSE 减 小了 3.427，而 PSNR 和 SSIM 则分别提高了 11.989 dB 和 0.076。较之于 LI-NMAR 和 RED- CNN-MAR 算法，本文算法的 SSIM 值分别提高了 0.086 和 0.018，PSNR 值提高了 13.235 dB

和 1.218 dB，MSE 也分别减小了 21.927 和 2.570。可见，与 LI-NMAR 和 RED-CNN-MAR 算法 相比较，双域自适应网络均取得了较高的 SSIM、PSNR 和较低的 MSE。
表 1 多种算法的定量评价结果一览表
Table 1 Quantitative evaluation results by multiple algorithms

指标
方法
1 号样本
2 号样本
平均值

SSIM
原始图像
0.877
0.861
0.854
LI-NMAR
0.858
0.876
0.844
RED-CNN-MAR
0.918
0.930
0.912

X
0.868
0.889
0.861
本文算法
0.929
0.946
0.930
原始图像
22.308
21.698
22.985
LI-NMAR
19.634
20.874
21.739
PSNR/dB
RED-CNN-MAR
33.316
34.079
33.756

X
28.516
28.976
27.420
本文算法
33.821
36.806
34.974
原始图像
6.498
7.442
6.811
LI-NMAR
23.484
23.089
25.311
MSE
RED-CNN-MAR
4.007
5.421
5.954

X
17.032
16.557
12.107
本文算法
3.694
3.027
3.384

3 结论
含有大量高密度金属物质的岩矿样在进行 CT 扫描时会产生大量金属伪影，为基于 CT 图像的岩矿样参数计算带来严重干扰。针对这一问题，本文研究了一种基于双域自适应网 络的岩矿样 CT 图像金属伪影校正算法（DDA-CNN-MAR），主要结论或成果：
（1）岩矿样 CT 图像包含有金属伪影的 CT 图像，能够通过含有投影域网络和图像域网 络的双域自适应网络进行金属伪影的抑制，从而获得高质量的岩矿样 CT 图像。
（2）双域自适应网络结构，其实质是自适应调整投影域进行伪影抑制的权重和自适应 调整图像域进行细节修复的权重，实现基于双域自适应网络的岩矿样 CT 图像金属伪影校正 工作，此为进一步深入分析岩矿样的内部结构、孔隙度等参数奠定了基础。
致谢：感谢中国地质科学院矿产资源研究所提供了岩矿样样品。
参考文献
[1] 何鹏, 魏彪, 陈超, 等. 华南成矿省福建魁歧晶洞花岗岩样品孔隙结构的工业 X-CT 三维可视化 研究[J]. 地质学报, 2014，88(4): 777-783.
HE P, WEI B, CHEN C, et al. The three-dimensional visualization study on pore structure of Fujian Kuiqi geode granite sample in South China metallogenic belt based on industrial computed tomography[J]. Acta Geologica Sinica, 2014, 88(4): 777-783. (in Chinese).
[2] TSAFNAT N, TSAFNAT G, JONES A S. Automated mineralogy using finite element analysis and X-ray microtomography[J]. Minerals Engineering, 2009, 22(2): 149-155.