资源描述
基于双域自适应网络的岩矿样工业 CT
图像金属伪影校正算法研究
摘要:岩矿样中包含有大量高密度金属物质,致使其在工业 CT 图像上产生了金属伪影,严重 影响岩矿样参数分析的准确性。为抑制岩矿样 CT 图像的金属伪影,本文提出一种基于双域自 适应网络的岩矿样 CT 图像金属伪影校正算法(DDA-CNN-MAR),将含有金属伪影的 CT 图像分 别通过投影域网络和图像域网络进行金属伪影的抑制, 自适应融合双域处理结果,实现由含 伪影图像到无伪影图像的端到端映射。该算法以残差编解码网络模型(RED-CNN)为基础,易 于提取特征并恢复图像细节;双域结构可自适应调整投影域(伪影抑制)和图像域(细节修 复) 的权重,借以获得最优的校正结果 。研究结果表明,较之于 RED-CNN-MAR,经过 DDA- CNN-MAR 方法校正的图像,MSE 减小 2.570,而 PSNR 和 SSIM 则分别提高 1.218dB 和 0.018, 有效提升岩矿样 CT 成像的图像质量。
关键词:工业CT;深度学习;校正算法;金属岩矿样;金属伪影
众所周知,显微计算机断层扫描成像(micro computed tomography,micro-CT)是一 种能够将待测物体的微观结构进行图像可视化的无损检测技术,通过计算穿透被扫描物体 的 X 射线衰减值,获取物体的断层图像[1] ,从而得到待测物体内部的结构(或缺陷)和材 质(或密度)等信息,已广泛应用于生命科学、材料科学、地球科学等诸多领域[2]。
针对包含有高密度金属的岩矿样品,在进行 micro-CT 扫描时,由于金属对于 X 射线具 有较强的吸收率,引起强衰减甚至完全阻挡了入射 X 射线,致使探测器所接收的是缺失或 损坏了的投影数据[3] 。当采用传统滤波反投影方法(filtered back projection,FBP)重 建 CT 图像时,将出现明、暗相间的放射状条纹,即“金属伪影”。金属伪影会严重影响 CT 成像质量,降低图像清晰度,对岩矿样品内部结构信息、密度信息的计算带来严重干扰[4]。 因此,如何减少或降低岩矿样工业 CT 图像中的金属伪影是一个关键技术问题。
传统的金属伪影校正(metal artifact reduction,MAR)方法主要分为 4 类,即基于
物理效应的预处理方法、投影域金属伪影插值校正算法( linear interpolation normal metal artifact reduction,LI-NMAR)、投影域迭代校正算法和投影域混合校正算法。
基于物理效应的预处理方法是依据 CT 投影的局部统计特性,对形成伪影的物理效应建 立模型并拟合校正曲线,进而利用滤波、迭代等方法对数据进行校正以改善重建结果,该 方法虽能在一定程度上抑制金属伪影,但距离实用仍有很大局限。LI-NMAR 是应用最多的 金属伪影校正算法,该算法主要使用插值策略来估计并填充缺失的数据,但难以保证插值 边界处的平滑度,且滤波后会引入新的伪影干扰[5] 。迭代校正算法的思想是建立目标图像 的投影值与CT 探测器实际采集的投影值之间的插值函数,通过最小化目标函数寻找最接近 目标图像的重建结果,该方法具有较强的抗噪性能,可以直接修正金属伪影,但步骤复 杂,繁琐耗时,实用性受到一定限制[6] 。混合校正算法是结合不同校正机制多种方法的组 合,混合技术对特定对象的金属伪影校正效果明显,但泛化性尚需提升。
目前,深度学习(deep learnin,DL)在图像分类[7] 、 目标检测[8]及图像去噪[9]等领 域已有成功的应用,基于深度学习的金属伪影校正算法,在医学成像领域亦显示出了巨 大的应用潜力,国内外已经提出了多种基于深度学习的金属伪影校正算法,例如,使用卷 积神经 网络( convolutional neural network,CNN)[10]和 生成对抗 网络( generative adversarial net,GANs)[11]来恢复被金属伪影覆盖的数据。2018 年,Zhang 等[12]提出了一 种融合了多种MAR 方法的 CNN 框架,以此提高伪影校正的性能;2019 年,Liao 等[13]提出了 一种新的无监督伪影分离网络(artifact disentanglement network,ADN);2020 年,马 燕等 [14]提 出 了一种基于残差编解码 网络( residual encoder-decoder convolutional neural network,RED-CNN)的金属伪影校正(RED-CNN-MAR)算法,这些校正算法均获得 了较好的伪影抑制效果。
然而,上述算法研究均是针对医学 CT 图像的金属伪影校正,难以直接将其移植至岩矿 样品工业 CT 图像的金属伪影校正。因此,为了提升岩矿样工业 CT 成像质量,恢复图像细 节,本文研究一种双域自适应金属伪影校正算法(dual-domain adaptive convolutional neural network metal artifact reduction,DDA-CNN-MAR),将包含有金属伪影的工业 CT 图像分别通过投影域网络和图像域网络进行金属伪影的抑制,融合双域处理结果。由于 网络取消全连接层,因而能够自适应输入图像的大小,实现含伪影图像到无伪影图像端到 端映射,从而达到金属伪影校正的目的。
1 原理与方法
1.1 基本原理
双域自适应网络算法是将 LI-NMAR 和 RED-CNN-MAR 方法融合,以此共同校正金属伪影。这 两种方法的融合可以避免图像中信息的丢失和二次伪影的产生,有效进行数据的恢复。为 此,将含有金属伪影的 CT 图像先后通过投影域网络和图像域网络,这样的网络结构既可以 利用来自投影域的信息对金属伪影进行消除,又能通过图像域对图像的信息进行修复。
DDA-CNN-MAR 算法网络结构(图 1)由 4 部分组成:投影域增强网络、投影层、图像域 增强网络、反投影层。
图中“投影层 ”表示投影操作算子,其将输入图像通过投影的方式映射至投影域,得
到图像的正弦图。“反投影层 ”表示反投影操作算子,表示将投影域的正弦图通过反投影 的方式映射至图像域,得到重建后的图像。
图 1 双域自适应网络结构原理图
Fig.1 Dual-domain adaptive convolutional neural network structure
投影域增强网络以及图像域增强网络均为 RED-CNN 网络结构,投影域增强网络输入的 是正弦域投影,图像域增强网络输入的是图像域上待增强的图像。LI-NMAR 为插值校正模 块,能够对输入的图像在正弦域进行插值校正。
模型的输入包括带有金属伪影的图片 Xin ∈ Rm×n ,经过投影层后转化为正弦图 Yin 。再 依次通过 LI-NMAR,先、后输入投影域增强网络和图像域增强网络,最后得到校正后的 CT 图像Xout [15]。
1.2 研究方法
1.2.1 基于 RED-CNN 的金属伪影校正模型
假设 X ∈ Rm×n 为带有金属伪影的 CT 重建图,而 Y ∈ Rm×n 是对应的正常的 CT 重建图, 可以列出二者的关系式为:
X = σ(Y) , (1) 其中 σ:Rm×n → R′m×n 表示图像由无金属伪影到有金属伪影的矩阵变换。这样,能够将问题 转化为求函数 f :
f = arg min (2)
其中 f 被看作 σ−1 的最佳近似值, σ−1 代表金属伪影校正网络的矩阵变换。
1.2.2 RED-CNN 金属伪影校正网络
本文研究的是一种将 RED-CNN 作为基础单元的金属伪影校正网络结构,其网络结构 如图 2 所示 。该网络主要包括两个模块 :编码模块和解码模块 。编码模块有 5 层卷积 层 ,每一层 的组成部分是卷积层( convolutional layer,Conv)、 归一化层( batch normalization,BN)、激活函数(rectified linear activation function,ReLU),能够
实现特征提取;解码模块包括 5 层反卷积层,每一层的组成部分是 Conv + BN + ReLU,能够 实现特征重组。在编码模块和解码模块之间,增加了一些连接借以形成残差网络,保护图 像信息的完整性[16]。
卷积层
归一化层
ReLU 激活函数
逆卷积层
编码过程
nBn
解码过程
图 2 RED-CNN-MAR 网络结构示意图
Fig.2 RED-CNN-MAR network structure
当用于金属伪影校正时,RED-CNN 网络可以消除大部分的金属伪影,但是在平坦区域 仍然有一部分窄带状伪影。为了更好地恢复图像细节并完成金属伪影端到端的映射,本文 考虑使用两个 RED-CNN 网络,分别从图像域和投影域同时进行模型训练,以此获得更高精 度的校正。
1.2.3 投影域增强网络和图像域增强网络
在投影域增强网络中,对于输入的图片 Xin ,在经过一次平行投影变换后转换为 Yin , 经过 LI-NMAR 后输出 YLI 。而后,将其输入投影域增强网络,得到初步校正后的输出 Yout 。 假设投影域网络的矩阵运算为 δ1 ,则 Yout 和 YLI 有如下关系:
(3)
Yout = δ1 (YLI )。
损失函数使用均方误差来进行评定,使用损失值 L1 和 L2 来训练投影域增强网络:
(4)
(5)
其中 f 为平行投影变换, f−1为投影反变换。
-
在图像域增强网络中,对于输入的正弦图像 Yout ,经过 FBP 反投影后转换为 X ,再通 过网络矩阵运算后的输出为 Xout 。假设投影域网络的矩阵运算为 δ2 ,则网络输出 Xout 同输
-
入图像 X 之间有如下关系式:
(6)
为了准确检测模型预测值和真实值之间的偏差,损失函数同样使用均方误差来进行评
定,使用损失值 L3 来训练图像域增强网络:
(7)
-
其中 Xout 和 C 分别是图像域增强网络输出的图像和数据集对应的无金属伪影图像。 假设整体网络的损失函数为 L ,则有:
L = L1 + L2 + L3 。 (8)
2 实验结果与分析
2.1 实验环境与数据集
本文数据集通过微焦点工业 CT 扫描含高密度金属的岩矿样获得 ,CT 图像大小为 256 × 256,共 6600 组,并对金属伪影区域进行了人工标注。为保证训练所得模型的有效 性,我们将数据集分为训练集和测试集两部分,其中训练集占80% ,测试集占 20%。
文 中算法是在 PyCharm 平 台上使用 PyTorch 框架完成训练及测试 。运行平 台采用 Intel(R)Core(TM)i5-9600 KF CPU,主频 3.70GHz,NVIDIA TITAN V 显卡,电脑内存 16G。训练次数设置为 1000 轮,采用 β =(0.9,0.999)的目标函数优化器,学习率设置 为 1× 10−5 。
(a)原始图像 (b)参考图像 (c)LI-NMAR 校正结果
(d)RED-CNN-MAR 校正结果 (e)本文算法的投影域输出 (f)本文算法校正结果
图 3 一号样本的实验结果对比图
Fig.3 Comparison of experimental results of sample No.1
2.2 实验结果
利用 LI-NMAR 算法[17] ,RED-CNN-MAR 算法[16] ,DDA-CNN-MAR 的投影域输出作为本文的实 验对照组。随机选取测试集中的样本进行对比测试(图 3),其中,LI-NMAR 和 RED-CNN-
MAR 是为了验证 DDA-CNN-MAR 在金属伪影校正方面的优越性;引入 DDA-CNN-MAR 的投影域
-
输出 X 是为了观测 DDA-CNN-MAR 引入图像校正网络是否提升了校正质量。
图 3(a)~图 3(f)分别对应 1 号样本的原始图像、参考图像、LI-NMAR 校正结果、
-
RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 4 为图 3 对应 的区域局部放大图。
(a)原始图像 (b)参考图像 (c)LI-NMAR 校 正图像
(d)RED-CNN-MAR 校正图像
(e)双域自适应网络 的投影域输出
(f)双域自适应 网络输出
图 4 为图 3 中(a)~(f)对应的区域局部放大图 Fig.4 The zoomed ROI area of Fig.3,respectively
图 5(a)~图 5(f)分别对应 2 号样本的原始图像、参考图像、LI-NMAR 校正结果、
-
RED-CNN-MAR 校正结果、本文算法的投影域输出 X 和本文算法校正结果。图 6 为图 5 对应 的区域局部放大图。
(a)原始图像
(d)RED-CNN-MAR 校正结果
(b)参考图像
(e)本文算法的投影域输出
(c)LI-NMAR 校正结果
(f)本文算法校正结果
图 5 二号样本的实验结果对比图
Fig.5 Comparison of experimental results of sample No.2
由此可见,两组样本经过不同算法校正后,所有算法对于原有的金属伪影均产生了一 定的抑制效果。同时,对比 4 种金属伪影去噪算法,DDA-CNN-MAR 的伪影抑制效果最好。
由图 3 和图 5 不难看出,LI-NMAR 算法引入了黑白相间的二次伪影,校正效果难说优 良;RED-CNN-MAR 和本文算法的投影域输出均能对金属伪影有一定的抑制,但前者对于较
严重的伪影并未完全抑制,复原图中仍然有射线状的背景;后者不能很好地保留图像底层 的信息,且呈现明显模糊;相对而言,本文算法较好地的恢复了伪影覆盖的区域,图像呈 现较好的均匀性,且图像质量相比投影域输出结果具有显著提升,说明引入图像域校正网 络有其必要性。但校正图像整体上有所平滑,在边缘部分仍有模糊。
(a)原始图像 (b)参考图像 (c)LI-NMAR 校 (d)RED-CNN-MAR 正结果 校正结果
(e)本文算法的投 影域输出
(f)本文算法校 正结果
图 6 为图 5 中(a)~(f)对应的区域局部放大图
Fig.6 (a)-(f) are zoomed ROI area of Fig.5,respectively
进而,本文通过结构相似指数(structural similarity index measure,SSIM)、峰 值信噪比(peak signal to noise ratio,PSNR)和均方误差(mean square error,MSE)
等指标,量化评价本文算法的效果。
(9)
(10)
(11)
式(9)~式(11)中,x 和y 分别为目标图像和重建图像, C1 和 C2 为常数, μx 和 μy
分别为 x 和y 的均值, σx(2)和 σy(2)分别为 x 和 y 的方差, σxy 为 x 和y 的协方差,N 为一幅图
像中总的像素点个数,h 和 w 分别为图像的长和宽, max(x) 表示最大值算子,找出 x 中最 大的像素值。
对于上述 3 个参数而言,SSIM 值与 PSNR 值越大,表明重建图像细节恢复越好, 目标 图像与重建图像之间结构相似性越高,图像失真较小;MSE 值越小,表明重建图像与目标 图像之间像素值的偏差越小,重建图像质量较高。
为了验证本文算法的鲁棒性,我们对所有测试集进行了测试,并计算 SSIM、PSNR 和 MSE 三类评价指标的均值(表 1)。在 1 号样本和 2 号样本以及所用样本的平均值中,本文 算法相较于 LI-NMAR 和 RED-CNN-MAR 算法而言,校正性能有明显的提升。
在所有测试集中,平均而言,与未经校正的原始图像相比,本文算法校正后其 MSE 减 小了 3.427,而 PSNR 和 SSIM 则分别提高了 11.989 dB 和 0.076。较之于 LI-NMAR 和 RED- CNN-MAR 算法,本文算法的 SSIM 值分别提高了 0.086 和 0.018,PSNR 值提高了 13.235 dB
和 1.218 dB,MSE 也分别减小了 21.927 和 2.570。可见,与 LI-NMAR 和 RED-CNN-MAR 算法 相比较,双域自适应网络均取得了较高的 SSIM、PSNR 和较低的 MSE。
表 1 多种算法的定量评价结果一览表
Table 1 Quantitative evaluation results by multiple algorithms
指标
方法
1 号样本
2 号样本
平均值
SSIM
原始图像
0.877
0.861
0.854
LI-NMAR
0.858
0.876
0.844
RED-CNN-MAR
0.918
0.930
0.912
X
0.868
0.889
0.861
本文算法
0.929
0.946
0.930
原始图像
22.308
21.698
22.985
LI-NMAR
19.634
20.874
21.739
PSNR/dB
RED-CNN-MAR
33.316
34.079
33.756
X
28.516
28.976
27.420
本文算法
33.821
36.806
34.974
原始图像
6.498
7.442
6.811
LI-NMAR
23.484
23.089
25.311
MSE
RED-CNN-MAR
4.007
5.421
5.954
X
17.032
16.557
12.107
本文算法
3.694
3.027
3.384
3 结论
含有大量高密度金属物质的岩矿样在进行 CT 扫描时会产生大量金属伪影,为基于 CT 图像的岩矿样参数计算带来严重干扰。针对这一问题,本文研究了一种基于双域自适应网 络的岩矿样 CT 图像金属伪影校正算法(DDA-CNN-MAR),主要结论或成果:
(1)岩矿样 CT 图像包含有金属伪影的 CT 图像,能够通过含有投影域网络和图像域网 络的双域自适应网络进行金属伪影的抑制,从而获得高质量的岩矿样 CT 图像。
(2)双域自适应网络结构,其实质是自适应调整投影域进行伪影抑制的权重和自适应 调整图像域进行细节修复的权重,实现基于双域自适应网络的岩矿样 CT 图像金属伪影校正 工作,此为进一步深入分析岩矿样的内部结构、孔隙度等参数奠定了基础。
致谢:感谢中国地质科学院矿产资源研究所提供了岩矿样样品。
参考文献
[1] 何鹏, 魏彪, 陈超, 等. 华南成矿省福建魁歧晶洞花岗岩样品孔隙结构的工业 X-CT 三维可视化 研究[J]. 地质学报, 2014,88(4): 777-783.
HE P, WEI B, CHEN C, et al. The three-dimensional visualization study on pore structure of Fujian Kuiqi geode granite sample in South China metallogenic belt based on industrial computed tomography[J]. Acta Geologica Sinica, 2014, 88(4): 777-783. (in Chinese).
[2] TSAFNAT N, TSAFNAT G, JONES A S. Automated mineralogy using finite element analysis and X-ray microtomography[J]. Minerals Engineering, 2009, 22(2): 149-155.
展开阅读全文