小波梯度域重建融合法应用于龋齿太赫兹成像.pdf

第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 太赫兹技术 小波梯度域重建融合法应用于龋齿太赫兹成像 柳启航，何明霞，赵晋武，李 岩（1.天津大学 测试计量技术及仪器国家重点实验室，天津 300072；2.天津大学 精密仪器与光电子工程学院，天津 300072）摘要：龋病是发病率最高的口腔疾病，也是全世界最流行的疾病之一。太赫兹光谱成像技术因具有宽频带光谱分析能力强、空间分辨率高、电离辐射低等优势，有望成为龋病诊断的新技术手段。本文以含牙本质龋的牙齿切片为研究对象，进行反射式太赫兹光谱扫描，以频域幅值为参数对样品的光谱数据做二维重构成像，获得多幅不同频率下的龋齿太赫兹光谱图像。为了解决单一参数所得的龋齿太赫兹图像动态范围小、对比度低，边缘和细节位置模糊不清的问题，采用小波梯度域重建的融合方法，将多幅图像中梯度幅值较大的部分集中于一幅图像上，得到了一幅细节特征更加清晰完整的新图像。实验结果表明，融合后的图像相较于融合前的图像在信息熵、平均梯度以及对比度上均有所提高，不同组织之间的区分效果更加显著。关键词：龋齿检测；太赫兹光谱成像；小波梯度域重建；图像融合 中图分类号：O433，R781.1 文献标志码：A 文章编号：1001-8891(2023)08-0890-07 Terahertz Imaging of Caries Wavelet Gradient Domain Reconstruction Fusion LIU Qihang，HE Mingxia，ZHAO Jinwu，LI Yan(1.State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China;2.School of Precision Instrument and Optoelectronics Engineering,Tianjin University,Tianjin 300072,China)Abstract:Caries is one of the most prevalent oral diseases worldwide.Terahertz spectral imaging technology has the advantages of strong broadband spectral analysis ability,high spatial resolution,and low ionizing radiation and is expected to be a new technical means for caries diagnosis.In this study,tooth slices containing dentin caries were used as the research object,and reflective terahertz spectral scanning was performed.The spectral data of the samples were reconstructed using two-dimensional imaging with the frequency-domain amplitude as the parameter,and several terahertz spectral images of caries were obtained at different frequencies.To solve the problems of small dynamic range,low contrast,and ambiguous edges,the detailed position of the terahertz image was obtained using a single parameter.Using the fusion method of wavelet gradient domain reconstruction,the larger gradient amplitudes of several images are concentrated in one image,and a new image with clearer and more complete detailed features is obtained.The experimental results show that the information entropy,average gradient,and contrast of the fused images are improved compared with those of the pre-fused images,and the discrimination effect between different tissues is more significant.Key words:caries detection,terahertz image,gradient domain reconstruction,image fusion 0 引言 龋病是发病率最高的口腔疾病，多发生在牙釉质和牙本质上，是正常硬组织被酸蚀脱矿后形成的。现收稿日期：2021-06-02；修订日期：2021-06-29.作者简介：柳启航（1997-），男，硕士，主要研究方向：非极性材料的太赫兹无损检测技术应用，太赫兹成像及图像处理。E-mail: 通信作者：何明霞（1965-），女，博士，教授，博士生导师，主要研究方向：太赫兹光谱技术探测生物组织太赫兹特性，太赫兹电磁波技术研究生物深层信息探测的新机理、新方法和新技术装置的研究，以及非极性材料的太赫兹无损检测技术应用等。E-mail:。基金项目：国家自然基金委面上项目（61675151）；海南省重大科技计划项目（ZDKJ2019013）。890 第45卷 第8期 Vol.45 No.8 2023 年 8 月 柳启航等：小波梯度域重建融合法应用于龋齿太赫兹成像 Aug.2023 阶段常用的龋齿检测方法多是根据探针触碰的手感判断1-2，或是使用 X 线片检测。然而探针触碰诊断法可能会产生一定的人为误差，X 线片不易检测到还没有形成龋洞的龋损3，并且存在较大的电离辐射，对人体有害。因此急需探索一种安全、灵敏度高的检测方法应用于龋齿诊断。太赫兹光谱成像技术因电离辐射小，检测灵敏度高等优势，使其在医学诊断领域具有广阔的应用前景4-6。尤其在口腔龋齿诊断方面，由于牙体硬组织的含水量较少，一定程度上可以消除水对 THz 波的吸收影响，使得该技术能更加方便地应用于龋齿检测。研究表明，利用太赫兹成像技术能够有效区分牙齿不同硬组织及龋损7-9，但是所成图像普遍存在动态范围小、对比度低、边缘模糊、分辨率较差等问题，难以达到医学诊断的标准，利用合适的处理算法提高牙齿太赫兹图像质量的相关研究也鲜有报道。图像的梯度能够反映图像的边缘，纹理等显著变化的信息。借助梯度域的融合处理能将不同图像中的特征信息有效整合在一起，改善人眼视觉效果，在提高图像细节分辨率的同时，还能保证图像有一个较大的动态范围，是近年来图像融合技术研究的热点10-13。本文以含牙本质龋的牙齿为主要研究对象，采用基于太赫兹时域光谱技术的反射式扫描成像方法，对含有牙本质龋齿的切片样品进行了成像检测，并采用基于小波梯度域重建的融合方法，将不同频率参数所成的图像上细节清晰的区域融合在一起，从而获得一幅动态范围大、边缘细节清晰，牙釉质、牙本质和本质龋区分更明显的龋齿太赫兹图像。1 样品及实验系统介绍 本实验选取经过人工生物龋化处理后含有牙本质龋的牙齿样品，用慢速切割机和水砂纸将其打磨成厚度约为 0.5 mm 的薄片并放入 4生理盐水中保存。图 1 的(a)、(b)、(c)所示为切片样品的光学照片，牙齿上边较为透明的部分为牙釉质，中间呈乳白色部分为牙本质，下边外侧呈透明状的部分为牙骨质，牙本质龋主要分布在牙本质上，呈棕黑色状，如图中箭头位置所示。其中，01、02、03 号样品大小依次约为 15 mm12 mm，13 mm11 mm，15 mm13 mm，牙本质龋面积依次约为 3 mm3mm，2 mm6 mm，2 mm5 mm。实验前，将牙齿样品取出于室温下自然干燥 2 h 后，再于干燥环境下进行扫描成像实验。(a)01 号牙齿样品 (b)02 号牙齿样品 (c)03 号牙齿样品 (a)Tooth sample 01 (b)Tooth sample 02 (c)Tooth sample 03 图 1 龋齿样品可见光照片 Fig.1 Visible light photograph of caries samples 使用德国 Menlo Systems 公司生产的太赫兹时域光谱系统 TeraSmart，搭配二维平移台构成反射式扫描成像系统，其原理示意图如图 2 所示。系统的快速扫描范围设置为 60 ps，时间分辨率为0.1 ps。在实验过程中，样品被平整地固定在一块光滑平整的金属片上，并将金属片固定在二维平移台的载物支架上。设置平移台的 X 和 Y 方向上扫描步径为0.1 mm。样品每移动一个点位，即可获得一个采样点的太赫兹时域信号。图 2 反射式太赫兹时域光谱成像系统原理示意图 Fig.2 Schematic diagram of the THz TDS system in the reflection mode 891 第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 2 龋齿的太赫兹光谱成像 图 3 显示了样品牙釉质、牙本质和牙本质龋表面的平均太赫兹时域波形及其频谱。由图可以看出，牙 本质龋与牙釉质和牙本质之间存在较为明显的区分。在时域波形中，牙釉质和牙本质的信号近似，难以区分。在频谱信号中，三者信号强度在 0.6 THz1.4 THz范围内存在一定的区分度。因此我们将扫描的原始数据进行傅里叶变换，以频域信号强度作为参数重构龋齿样品的太赫兹光谱图像。图 3 牙本质、牙本质龋、牙釉质表面的平均太赫兹时域波形（左）及频谱（右）Fig 3 Mean terahertz time domain waveform(left)and spectrum(right)of surfaces of dentin,caries and enamel 低频率的太赫兹波由于波长大，图像的分辨率会受到限制，图像较为模糊，而高频率的太赫兹波所成的太赫兹图像会有更高的空间分辨率，因此在选取成像频率时，我们选取较高的频率所对应的信号强度重构图像。样品成像结果如图 4(a)(i)所示。太赫兹图像中样品不同区域之间的对比度是由入射太赫兹光束以不同比例吸收造成的，其中高吸收区域呈现深色。图中，牙本质龋的底层轮廓部分呈现出比周围更深的颜色，中上部分颜色较浅，是因为牙本质龋底层因矿物质沉积，导致密度变大，对太赫兹吸收更高。在部分图像上，牙釉质（较浅）和牙本质（较深）也有一定的区分度。这些组织在太赫兹图像上的存在的位置与可见光照片显示的位置相似。26283032343638404244464850-0.3-0.2-0.10.00.10.2THz signal/a.u.time/ps Dentin Dentin Caries Enamel0.20.40.60.81.01.21.41.60.0000.0020.0040.0060.008THz signal/a.u.frequency/THz Dentin Dentin Caries Enamel(a)0.996 THz 成像结果(a)Image at 0.996 THz (b)1.244 THz 成像结果 (b)Image at 1.244 THz (c)1.311 THz 成像结果(c)Image at 1.311 THz 01 01 01 892 第45卷 第8期 Vol.45 No.8 2023 年 8 月 柳启航等：小波梯度域重建融合法应用于龋齿太赫兹成像 Aug.2023 然而通过频谱重构的太赫兹图像整体动态范围较小，且不同频率参数所得的图像存在局部模糊不清的问题。例如 01 号样品的 0.996 THz 成像在左上角的牙釉质与牙本质边界区分不够明显；1.244 THz 成像的右侧部分牙本质区域与牙釉质的边界区分不明显；1.311 THz 成像牙釉质、牙本质以及牙本质龋的区分度较好，但在右侧牙齿边界处存在明显的伪影。02 号样品的 0.995 THz 成像中，牙釉质和牙本质的边界较为明显，但在牙本质龋的上边缘存在伪影；1.147 THz成像的左侧边界模糊不清；1.375 THz 成像右侧牙釉质边缘存在伪影。03 号样品 0.964THz 成像左上角牙釉质处模糊不清；1.030 THz 成像牙釉质和牙本质区分较为明显，中间牙釉质和本质龋上边界区域较为模糊；1.344 THz 成像轮廓细节清晰，但牙釉质和牙本质区分不明显。3 小波梯度域重建的图像融合方法 图像中模糊不清的区域梯度值一般比较小，而区分度高、细节信息丰富的区域梯度值一般较大。因此，可将不同图像中梯度幅值较大的区域融合在一起，从而获得一幅动态范围大、边缘细节清晰，牙釉质、牙本质和牙本质龋区分度较好的龋齿太赫兹图像。本文首次将基于小波梯度域重建的融合方法运用到太赫兹图像的优化处理中。以 3 幅待融合的太赫兹图像为例阐述该图像融合方法，其算法流程框图如图5所示，具体过程如下10-13：1）对输入的 3 幅待融合图像进行 X 与 Y 方向上的梯度计算，获得图像上每个像素点位置的梯度幅值。图像梯度可表示为：()()(),1,xnnnx yIxyIx y=+(1)(d)0.995 THz 成像结果(d)Image at 0.995 THz(e)1.147 THz 成像结果(e)Image at 1.147 THz(f)1.375 THz 成像结果(f)Image at 1.375 THz(g)0.964 THz 成像结果(g)Image at 0.964 THz(h)1.030 THz 成像结果(h)Image at 1.030 THz (i)1.344 THz 成像结果 (i)Image at 1.344 THz 图 4 0103 号样品反射式太赫兹光谱成像结果 Fig 4 Reflection terahertz spectral images of sample No.01-03 02 02 02 03 03 03 893 第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 图 5 Haar 小波梯度域重建融合算法流程 Fig 5 Flow chart of Haar wavelet gradient domain reconstruction fusion algorithm ()()(),1,ynnnx yIx yIx y=+(2)式中：nx和ny分别代表 X 方向和 Y 方向的梯度，梯度幅值大小则可定义为：()()()22,xynnnHx yx yx y=+(3)选取 3 幅图像中同一点(x,y)处梯度幅值的最大值作为融合后图像的梯度幅值，同时得到融合后图像每一点处的融合梯度分量，进而获得图像在 X 和 Y 方向的梯度融合图像。此时图像的融合梯度可表示为：x,yT (4)2）在获得 X 和 Y 方向的梯度融合图像后，为了真实还原图像的细节，需要从梯度域上进行重建。采用 Haar 小波，先对融合后的 X 方向和 Y 方向梯度数据进行逐级分解，获得各级 Haar 小波分解系数，然后对这些系数进行重建。融合梯度 和最终融合图像 I 的关系可表示为：I (5)式中：T=d d,d dxy。由于 X 方向和 Y 方向融合梯度 x和 y是由 3 幅图像经过组合处理所得，不满足保守向量场的条件，所以可将其转化为求解泊松方程，即：2I T (6)在重建时使用 Sevcenco11等人提出的迭代泊松方程求解器，从而消除梯度受损带来的影响。迭代泊松方程求解器公式为：()()()()()10.251011111040+1111101xyI kI kI kkk+=+(7)式中：k 为迭代次数；表示二维卷积。3）采用类似 Gamma 校正的非线性映射将重建的图像强度校正在标准范围内，输出最终融合后的图像。重建后的图像会存在一些像素点的强度超出标准范围的情况，这是因为融合梯度是通过合并多幅图像的梯度得到的，相邻梯度值之间差异较大，导致重建图像具有高动态范围。映射公式为：()()()()(),min,max,min,i jCi ji jI i jI i jI i jRLI i jI i j=+(8)式中：ln(RC)/ln(RI)，RI表示经过小波梯度域重建所得图像的强度动态范围。RC表示重建图像灰度的最大值和最小值的差值，选取 H255，L0，则 RC255。4 结果与讨论 经小波梯度域重建融合算法处理后，结果如图6(a)(c)所示。从融合图像上可以看出，图像整体动态范围获得明显提升，牙釉质、牙本质以及牙本质龋之间的区分效果更加显著，尤其是颜色较深的龋齿区域（如图 6 红色箭头位置所示）与周围组织间的对比度更高，检测效果更好。图像中边缘以及较为模糊的细节位置也都得到改善，变得更加清晰，伪影得到明显消除。为了验证小波梯度域重建融合算法的客观效果，894 第45卷 第8期 Vol.45 No.8 2023 年 8 月 柳启航等：小波梯度域重建融合法应用于龋齿太赫兹成像 Aug.2023 采用图像信息熵、平均梯度以及对比度作为图像质量的评价指标14-15。信息熵（information entropy,IE）反映了一幅图像里信息量的多少。平均梯度（average gradient,AG）能够反映图像的清晰程度，同时还能反映出图像中微小细节和纹理特征。对比度（contrast,CON）和图像的动态范围有很大关系，反映了图像由黑到白的渐变层次。表 1 给出了 3 个样品的太赫兹图像融合前后的各项评价指标。从对比结果可以看出，样品融合后图像的 3 项评价指标计算值都大于融合前图像的计算值。其中，IE 值的提高，说明融合后图像上样品的缺失信息得到了补充，信息含量更加丰富。AG 值的提高说明了融合后图像的边缘纹理更加清晰，样品整体轮廓以及各组织之间的区分度更加明显。CON 值的提高说明了融合后图像的动态范围得到明显提升，更有层次感，视觉效果更好。(a)01 号样品融合结果 (b)02 号样品融合结果 (c)03 号样品融合结果(a)Fusion image of sample 01 (b)Fusion image of sample 02 (c)Fusion image of sample 03 图 6 01-03 样品图像融合结果 Fig.6 Image fusion results of sample 01-03 表 1 龋齿样品的融合前后太赫兹图像评价指标对比 Table 1 Terahertz image evaluation index comparison of caries samples before and after fusion Sample Image IE AG CON 01 0.996THz 6.1947 0.0136 12.3335 1.244THz 6.5509 0.0215 27.3449 1.311THz 6.2496 0.0178 21.4012 Fusion image 7.0893 0.0266 35.4942 02 0.995THz 6.9376 0.0223 31.0891 1.147THz 7.1184 0.0249 36.5763 1.375THz 6.7764 0.0264 41.5308 Fusion image 7.4126 0.0319 50.7427 03 0.964THz 7.1886 0.0232 29.7532 1.030THz 7.1353 0.0206 24.6868 1.344THz 7.0889 0.0280 42.8916 Fusion image 7.6641 0.0399 73.7251 5 结语 本文采用基于太赫兹时域光谱技术的反射式扫描成像方法，对含有牙本质龋齿的切片样品进行了光谱成像检测，并首次将基于小波梯度域重建的图像融合方法运用在太赫兹图像的后期处理中，将多幅图像上梯度幅值较大的区域融合在一幅图上，使得融合后图像的信息熵、平均梯度以及对比度得到了明显提升，解决了单一频率下的龋齿太赫兹图像动态范围小、对比度差，边缘细节模糊不清，牙釉质、牙本质的区分度不明显等问题，提高了龋齿太赫兹图像质量。本文的研究结果也为太赫兹医学图像的优化处理895 第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 提供了一种新的思路。参考文献：1 陈智,卢展民,Falk Schwendicke,等.龋损管理:龋坏组织去除的专家共识J.中华口腔医学杂志,2016,51(12):712-716.CHEN Z,LU Z M,Falk S,et al.Managing carious lesions:consensus recommendations on carious tissue removalJ.Chinese Journal of Stomatology,2016,51(12):712-716.2 Maeng Youjin,Lee Hyungsuk,Lee Eunsong,et al.Noninvasive detection of microleakage in all-ceramic crowns using quantitative light-induced fluorescence technologyJ.Photodiagnosis and Photodynamic Therapy,2020,30:101672.3 Brouwer F,Askar H,Paris S,et al.Detecting secondary caries lesions:a systematic review and meta-analysisJ.J.Dent Res.,2016,95(2):143-151.4 FAN Shuting,HE Yuezhi,Benjamin S Ung,et al.The growth of biomedical terahertz researchJ.Journal of Physics D:Applied Physics,2014,47(37):374009.5 张卫方,杜潮海,刘濮鲲.太赫兹技术在医学成像方面的应用和进展J.标记免疫分析与临床,2019,26(9):1603-1608.ZHANG W F,DU C H,LIU P K.The applications and developments of teraherz radiation in medical imagingJ.Labeled Immunoassays and Clinical Medicine,2019,26(9):1603-1608.6 严芷瑶,黄婉霞,黄青青,等.太赫兹医学成像研究进展J.光电工程,2020,47(5):79-89.YAN Zhiyao,HUANG Wanxia,HUANG Qingqing,et al.Research progress of terahertz medical imagingJ.Opto-Electronic Engineering,2020,47(5):190721.7 Daniela S Lopes,Wellington S Souza,Renato E de Araujo,et al.Terahertz time-domain spectroscopy of healthy and carious dental tissuesC/The European Conference on Lasers and Electro-Optics,2019:1-1(DOI:10.1109/CLEOE-EQEC.2019.8871841).8 Karagoz B,Kamburoglu K,Altan H.Terahertz pulsed imaging for the monitoring of dental caries:a comparison with X-ray imagingC/Proceedings of SPIE,2017,10417P(https:/doi.org/10.1117/12.2285991).9 Kamburolu Kvan,Karagz Burcu,Altan Hakan,et al.An ex vivo comparative study of occlusal and proximal caries using terahertz and X-ray imagingJ.Dento Maxillo Facial Radiology,2019,48(2):20180250.10 Hampton P,Agathoklis P,Bradley C.A new wave-front reconstruction method for adaptive optics system using waveletsJ.IEEE Journal of Selected Topics in Signal Processing,2008,2(5):781-792.11 Sevcenco I S,Hampton P J,Agathoklis P.Seamless stitching of images based on a Haar wavelet 2D integration methodC/17th International Conference on Digital Signal Processing(DSP),2011:1-6(DOI:10.1109/ICDSP.2011.6004934).12 Ioana S Sevcenco,Peter J Hampton,Panajotis Agathoklis.A wavelet based method for image reconstruction from gradient data with applicationsJ.Multidimensional Systems and Signal Processing,2015,26(3):717-737.13 YAN Qing,XU Yi,YANG Xiaokang,et al.Single image super resolution based on gradient profile sharpnessJ.IEEE Transactions on Image Processing,2015,24(10):3187-3202.14 杨艳春,李娇,王阳萍.图像融合质量评价方法研究综述J.计算机科学与探索,2018,12(7):1021-1035.YANG Yanchun,LI Jiao,WANG Yangping.Review of image fusion quality evaluation methodsJ.Journal of Frontiers of Computer Science and Technology,2018,12(7):1021-1035.15 王跃华,陶忠祥.红外与可见光图像融合质量评价方法综述J.红外,2012,33(6):7-11.WANG Y,TAO Z.Overview of quality evaluation methods of fused infrared and visible imagesJ.Infrared,2012,33(6):7-10.896