结合非下采样剪切波变换的BM3D去除图像噪声方法研究.pdf

樊华，王文旭，李晓阳，陈睿，韩贞辉，2023.结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究.震灾防御技术，18（3）：651662.doi：10.11899/zzfy20230322结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究1樊华王文旭李晓阳陈睿韩贞辉（河南省地震局,郑州 450018）摘要强噪声图像去噪一直是图像处理技术应用领域研究的热点，为进一步提高强噪声图像的去噪质量和对图像边缘的保护，针对三维块匹配（Block Matching 3D，BM3D）方法对强噪声图像去噪效果不佳及图像线状奇异性（如边缘）缺乏最优表示的问题，提出了基于二维非下采样剪切波变换（Non-subsampled Shearlet Transform，NSST）和 BM3D 的组合去噪方法。该方法首先对含噪图像进行 NSST 正变换，得到不同尺度和不同方向高频子带的剪切波系数；然后对每个尺度不同方向的高频子带求取贝叶斯阈值，并利用渐进半软阈值函数对各高频子带进行去噪；最后对低频子带和各去噪高频子带进行 NSST 逆变换，得到去噪结果。将去噪图像作为 BM3D 中基础估计阶段的预滤波，能够进一步提高基础估计阶段分组的正确性，为 BM3D 去噪奠定良好基础。组合去噪方法结合了 NSST 与 BM3D 的各自优势，仿真试验结果表明，对于低噪声图像，本方法和 BM3D 方法去噪效果相同，略优于非局部平均法；对于强噪声卫星影像，本方法去噪效果优于 BM3D 和非局部平均法。关键词：NSSTBM3D贝叶斯阈值线状奇异性渐进半软阈值函数BM3D Method Combined with Non-subsampled Shearlet Transform forRemoving Image NoiseFan Hua,Wang Wenxu,Li Xiaoyang,Chen Rui and Han Zhenhui(Henan Earthquake Agency,Zhengzhou 450018，China)AbstractImage denoising with strong noise(noise standard deviation 40)is always a hot topic in the application field of imageprocessing technology.In order to further improve the denoising quality and edge protection of images with strong noise,a combineddenoising method based on 2D non-subsampled shearlet transform and BM3D was proposed to solve the problems of poor denoising ef-fect of block-matching 3D(BM3D)on strong noise images and the lack of optimal representation of linear singularity(such as edge).Shearlet transform provides a local,multi-scale and multi-direction analysis method that can optimally represent the linear singularity ofimage.BM3D method has the best effect on image noise reduction(0（6）s,k式中，为阈值，随尺度 s 和方向 k 变化。NSLPj=3NSLPj=2NSLPj=1源图像高频子带高频子带高频子带低频子带方向局部化多尺度部分SFSFSFSF 图 2 NSST 三级分解示意Fig.2 Schematic diagram of tertiary decomposition of NSST654震灾防御技术18 卷2.3渐进半软阈值函数渐进半软阈值函数表达式如下：Ys,k(i,j)=sign(Ys,k(i,j)(|Ys,k(i,j)|22s,k|Ys,k(i,j)|+s,ke|Ys,k(i,j)|s,k),|Ys,k(i,j)|s,k0,|Ys,k(i,j)|s,k（7）Ys,k式中，为阈值量化后的剪切波系数。2.4NSST 去噪步骤Ys,k2s,kXs,ks,kYs,kNSST 去噪步骤示意如图 3 所示，流程如下：对含噪图像作 NSST 变换，得到不同尺度和不同方向子带的剪切波系数；对每个尺度不同方向的高频子带，据式（3）计算噪声方差，据式（4）计算信号标准差，据式（6）计算阈值；利用渐进半软阈值函数式（7）对剪切波系数进行去噪处理，得到无噪信号图像的剪切波系数的估计；对去噪后的高频子带和低频子带重构，得到去噪后的图像。含噪图像参数设置含噪图像 NSST 正变换尺度 1 高频子带尺度 2 高频子带.尺度 N 高频子带尺度 N 低频子带各高频子带按方向分块利用渐进半软阈值函数对每一尺度各方向块的高频子带去噪声.去噪图像计算每一尺度各方向块的 1.噪声方差 2.无噪图像标准差 3.阈值尺度 N 高频子带去噪结果尺度 2 高频子带去噪结果尺度 1 高频子带去噪结果NSST 逆变换重构低频子带和去噪高频子带 图 3 NSST 去噪步骤示意Fig.3 NSST denoising procedure diagram 3BM3D 去噪原理与计算公式BM3D 去噪的基本思想为将非局部块匹配和变换域滤波相结合，算法分为基础估计（硬阈值去噪）和最终估计（维纳滤波）2 个阶段，每个阶段均包含相似块分组、变换域 3D 协同滤波和重叠块加权平均环节，是目前传统降噪方法中去高斯白噪声效果最好的方法（Dabov 等，2007）。3.1基础估计 3.1.1相似块分组ZxZxRZxd(ZxR,Zx)d(ZxR,Zx)htmatchZShtxRhtmatch将含噪图像分为若干块，依次选取每块为参考块，据式（8）计算与候选块的距离，将小于等于相似性阈值的块分为一组，分组后形成若干 3D 数组，随噪声强度的增大而增大，经验取值范围为 0，2（Dabov 等，2007）。3 期樊华等：结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究655d(ZxR,Zx)=?ZxRZx?22(N1)2（8）(N1)2式中，为图像块大小。3.1.2变换域 3D 协同滤波ZShtxRTht3DTht13DYhtShtxRYht,xRxm变换域 3D 协同滤波是 BM3D 的核心部分。协同滤波能够加强相似块的稀疏性，同时降低相似块的噪声。其基本思想是对分组后的 3D 数组进行 3D 线性变换（余弦变换和小波变换）、硬阈值去噪 及 3D 逆变换，得到去噪 3D 数组，并将该 3D 数组内的二维相似块返回到图像的原来位置：YhtShtxR=Tht13D(Tht3D(ZShtxR)（9）3.1.3重叠块加权平均htmatchZxZxR当相似性阈值较大时（强噪声时），候选块可能会出现在不同参考块对应的 3D 数组中，故去噪后返回到图像原位置的二维相似块会出现交叠现象。为此，需对交叠块作加权平均得到图像的基础估计：ybasic(x)=xRXxRShtxRhtxRYht,xRxm(x)xRXxRShtxRhtxRxm(x)，x X（10）ybasichtxRxm式中，为基础估计；为权值；为特征函数。3.2最终估计 3.2.1相似块分组 ybasic基础估计的目的之一是引导最终估计阶段的分组，首先对基础估计分组，然后仿此结果对原始含噪图像进行分组：d(ybasicxR,ybasicx)=?ybasicxR ybasicx?22(N1)2（11）d(ybasicxR，ybasicx)ybasicYbasicSwiexRZSwiexR式中，为参考块的基础估计与候选块的基础估计之间的距离，本阶段分组得到 2 种 3D 数组，即从基础估计得到的和从原始含噪图像 Z 得到的。3.2.2变换域 3D 协同维纳滤波YbasicSwiexRTwie3D(YbasicSwiexR)基础估计的另外一个目的是求取维纳滤波所需的收缩系数。对分组得到的 3D 数组进行 3D 线性变换，并按下式计算得到维纳滤波的收缩系数。WSwiexR=?Twie3D(YbasicSwiexR)?2?Twie3D(YbasicSwiexR)?2+2（12）WSwiexR式中，指维纳滤波的收缩系数。ZSwiexRTwie3D(ZSwiexR)对噪声图像分组得到的 3D 数组进行维纳滤波，包括 3D 线性变换与收缩系数相乘及 3D 反变换：YwieSwiexR=Twie13D(WSwiexRTwie3D(ZSwiexR)（13）YwieSwiexRTwie13D式中，是维纳滤波后的 3D 数组；为 3D 反变换。3.2.3重叠块加权平均与基础估计的重叠块加权平均类似，最终估计阶段的重叠块作加权平均得到最终估计：yfinal(x)=xRXxRSwiexRwiexRYwie,xRxm(x)xRXxRSwiexRwiexRxm(x)，x X（14）656震灾防御技术18 卷 yfinalwiexRYwie，xRxmYwieSwiexR式中，为去噪最终估计；为权值；为维纳滤波后 3D 数组内的二维相似块。4ST-BM3D 算法流程本研究提出的 ST-BM3D 算法流程如图 4 所示。该算法分为两部分，一部分为 NSST 变换及 BM3D 的基础估计，另一部分为 BM3D 最终估计。两部分均包括图像分块、相似块分组、3D 协同滤波、块加权平均等步骤，区别在于 3D 协同滤波中的去噪方法，前者采用硬阈值去噪，后者采用维纳滤波。该算法将剪切波域去噪融入到 BM3D 的基础估计部分，从而提高了该部分相似块分组的正确性，进而提高了最终估计部分的去噪信噪比。NSST 变换含噪图像贝叶斯阈值去噪NSST 逆变换图像分块相似块分组3D 变换硬阈值去噪3D 逆变换逐块估计块加权平均权重NSST 变换及 BM3D 基础估计图像分块相似块分组3D 变换维纳滤波3D 逆变换逐块估计块加权平均权重BM3D 最终估计去噪图像 图 4 ST-BM3D 算法流程Fig.4 BM3D denoising process combined with NSST transform 5试验结果与分析以 MATLAB R2012b 为平台开展试验，通过编程实现了 3 种去噪算法：NL means 算法、BM3D 算法和本研究提出的 ST-BM3D 算法。去噪使用了 4 张图像，其中 2 张图像尺寸为 256256 像素，另外 2 张图像尺寸为 512512 像素。低噪声试验取高斯噪声标准差为 30 dB，强噪声试验取高斯噪声标准差为 100 dB。NSST 有关参数设置如下：最大分解尺度为 3，尺度为 1 时的方向分解数为 6，尺度为 2 时的方向分解数为 10，尺度为 3 时的方向分解数为 18。BM3D 有关参数设置如下：图像块大小为 88 像素，滑动步长为 3，每组相似块最大数为 16，搜索窗口大小为 3939 像素，图像块距离阈值为 3 000，其余参数设置详见 BM3D软件。为比较 NL means 方法、BM3D 方法及本方法对强噪声图像的去噪情况，进行低噪声和强噪声图像去噪试验，以验证本方法的有效性和可行性。5.1低噪声图像去噪仿真试验为验证本方法的有效性，对图 5 左上角的低噪声原始图像加了 30 dB 的高斯噪声标准差进行仿真试验，去噪效果对比如图 5 所示。由图 5 中放大图像可知，本方法的峰值信噪比（Peak Signal to Noise Ratio，PSNR）虽略好于 BM3D 方法，但视觉效果几乎无差别，说明本方法与 BM3D 方法对低噪声图像的去噪结果差别较小，但在 PSNR 和视觉效果方面均优于 NL means 方法。5.2强噪声图像去噪仿真试验为验证本方法对强噪声图像去噪的有效性，并更清晰地展示不同方法的去噪效果，选取高对比度的点线面强噪声原始图像（图 6 左上角）加了 100 dB 的高斯噪声标准差进行仿真试验，去噪效果对比如图 6 所示。由图 6 中第二行对点像素的分辨可知，本方法分辨出的点像素最多，优于 BM3D 方法和 NL means 方法。由图 6 中第三行对线条像素的分辨可知（以绿色圆圈为例），本方法的连续性明显好于 BM3D 和 NL means 方3 期樊华等：结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究657法。对面元的分辨，用本方法处理后的蓝面元在边缘连续性和色泽均匀性上均优于 BM3D 和 NL means 方法。综上所述，对于强噪声图像的去噪，从细节和总体视觉效果而言，本方法均优于 BM3D 和 NL means 方法。5.3强噪声无人机图像和卫星影像去噪试验为验证本方法的可行性，采用无人机图像（图 7 左上角，分辨率 1 332748）和卫星影像（图 8 左上角，19 级，分辨率 0.24 m）开展去噪试验，其中无人机图像由多旋翼型大疆经纬 M200 型无人机拍摄，卫星影像为 91 卫图助手的卫星影像图层（无偏移）。(a)原始图像(彩图 256256)(b)加噪图像=30(S/N:19.04)(c)NLmeans(S/N:25.31)(SSIM:0.97)(d)BM3D(S/N:28.56)(SSIM:0.98)(e)ST-BM3D(S/N:28.61)(SSIM:0.98)图 5 低噪声图像去噪效果对比Fig.5 Contrast of weak noise images denoising effect(a)原始图像(彩图 256256)(b)加噪图像=100(S/N:7.29)(c)NLmeans(S/N:19.05)(SSIM:0.27)(d)BM3D(S/N:23.94)(SSIM:0.43)(e)ST-BM3D(S/N:26.05)(SSIM:0.75)图 6 强噪声图像去噪效果对比Fig.6 Contrast of strong noise images denoising effect658震灾防御技术18 卷强噪声无人机图像去噪效果对比如图 7 所示。由图 7 可知，从去噪后图像的色调均匀性、线条连续性及总体视觉效果来看，对于强噪声图像去噪，本方法均优于 BM3D 和 NL means 方法。强噪声卫星影像去噪效果对比如图 8 所示。由图 8 可知，对于房屋和道路的部分粗线条边缘（长条形红框标注），本方法得到的线条边缘连续性优于 BM3D 和 NL means 方法；由小红框标注的 3 条细线条边缘可知，本方法得到的结果易识别，BM3D 方法得到的结果较模糊，NL means 方法得到的结果难以识别。对于图 8 中的彩色条形块，从色调均匀性和边缘连续性来看，本方法均优于 BM3D 和 NL means 方法。5.4评价参数比较选取峰值信噪比（PSNR）和结构相似性（Structural Similarity，SSIM）评价指标对去噪图像质量进行评(a)原始图像(真彩图 512512)(b)加噪图像=100(S/N:7.54)(c)NLmeans(S/N:16.33)(SSIM:0.42)(d)BM3D(S/N:22.07)(SSIM:0.60)(e)ST-BM3D(S/N:23.03)(SSIM:0.71)图 7 强噪声无人机图像去噪效果对比Fig.7 Comparison of strong noise UAV image denoising(a)原始图像(真彩图 512512)(b)加噪图像=100(S/N:7.71)(c)NLmeans(S/N:15.78)(SSIM:0.59)(d)BM3D(S/N:21.32)(SSIM:0.74)(e)ST-BM3D(S/N:22.42)(SSIM:0.80)图 8 强噪声卫星影像去噪效果对比Fig.8 Comparison of strong noise satellite image denoising3 期樊华等：结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究659价。Wang 等（2004）给出了评估 2 幅图像结构相似性的方法，结构相似性旨在衡量图像相邻像素的关联性，关联性反映了实际场景中物体的结构信息。SSIM 为全参考的图像质量评价指标，分别从亮度、对比度和结构方面度量两图像的结构相似性，取值范围 0，1，值越大，表示 2 幅图像越相似、失真越小。利用 PSNR 和 SSIM 对 BM3D、NL means 方法和本方法去噪效果进行评价，结果如表 1 所示。由表 1可知，根据低噪声图像（图 5）的 PSNR 和 SSIM，3 种方法的评价值差别较小，尤其是本方法与 BM3D 方法的 SSIM 相同、PSNR 几乎相同，表明本方法与 BM3D 方法去低噪声效果相同，均优于 NL means 方法；根据强噪声图像（无人机图像和卫星影像，图 78）的 PSNR 和 SSIM，本方法优于 BM3D 和 NL means 方法；根据强噪声图像（点线面高对比度图像，图 6）的 PSNR 和 SSIM，本方法明显优于 BM3D 和 NLmeans 方法，表明对于强噪声高对比度图像，本方法优势更明显。表 1 去噪方法性能评价结果Table 1 Performance evaluation table of denoising method图像名称Lena图像点线面高对比度图像无人机图像卫星影像噪声值（低高斯噪声标准差30 dB）（强高斯噪声标准差100 dB）（强高斯噪声标准差100 dB）（强高斯噪声标准差100 dB）评价参数PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMNL means方法25.310.9719.050.2716.330.4215.780.59BM3D方法28.560.9823.940.4322.070.6021.320.74本方法28.610.9826.050.7523.030.7122.420.80 6结论为弥补 BM3D 去噪方法缺乏对图像线状奇异性的最优表示，并实现强噪声图像的有效去噪，本文提出了结合非下采样剪切波变换的 BM3D 去除高斯噪声方法，将 BM3D 中的预滤波通过剪切波阈值去噪替代。剪切波阈值采用了自适应贝叶斯阈值，阈值随剪切波分解尺度、方向及空间变化，具有自适应功能，有效避免了对图像信号的“过扼杀”和噪声的“过保留”。采用渐进半软阈值函数，避免了硬阈值函数在边缘处振荡及软阈值函数边缘模糊的弊端。视觉效果和客观评价参数结果分析表明，在低噪声环境下，本方法和 BM3D 方法去噪效果相同，略优于 NL means 方法；强噪声背景下本方法去噪效果优于 BM3D 和 NL means 方法；对于强噪声高对比度图像，本方法较 BM3D 和 NL means 方法优势更明显。本方法对强噪声图像的去噪效果和对图像边缘的有效保护均优于传统 BM3D 方法，这有利于震害影像中强噪声的消除和对图像边缘的保护，为震害影像的后续处理（如提取滑坡泥石流边界、建筑物边缘等）奠定基础，有利于增强灾后破坏性地物边缘的震害影像提取效果，更好地服务于震害影像的处理和解释。参考文献 阿依古力吾布力，2015.基于剪切波和 NSST 变换的图像增强算法研究.乌鲁木齐：新疆大学.Wubuli A.，2015.Research on image enhancement methods based on shearlet and NSST transform.Urumqi：Xinjiang University.(in Chinese)车守全，李涛，包从望等，2022.矿区遥感图像去噪方法研究.工矿自动化，48（1）：113118,124.Che S.Q.,Li T.,Bao C.W.,et al.,2022.Research on denoising method of remote sensing image in mining area.Journal of MineAutomation,48(1):113118,124.(in Chinese)邓开元，任超，梁月吉等，2019.一种遥感影像混合噪声的去噪方法.测绘通报，（2）：2831,70.Deng K.Y.,Ren C.,Liang Y.J.,et al.,2019.A denoising method of mixed noise of remote sensing image.Bulletin of Surveying andMapping,(2):2831,70.(in Chinese)冯岩，薛瑞，2014.剪切波理论及其应用研究进展.信阳师范学院学报：自然科学版，27（3）：463468.Feng Y.,Xue R.,2014.Advances in theory and application of shearlets.Journal of Xinyang Normal University:Natural Science Edition,27(3):463468.(in Chinese)660震灾防御技术18 卷 龚俊亮，何昕，魏仲慧等，2013.基于贝叶斯估计的剪切波域局部自适应图像去噪.液晶与显示，28（5）：799804.Gong J.L.,He X.,Wei Z.H.,et al.,2013.Local adaptive image denoising based on Bayesian estimation in shearlet domain.ChineseJournal of Liquid Crystals and Displays,28(5):799804.(in Chinese)韩文方，2013.基于稀疏表示的剪切波域图像去噪算法研究.广州：华南理工大学.Han W.F.，2013.Research on shearlet domain image denoising algorithm via sparse representation.Guangzhou：South ChinaUniversity of Technology.(in Chinese)焦姣，吴玲达，2019.形态学滤波和改进 PCNN 的 NSST 域多光谱与全色图像融合.中国图象图形学报，24（3）：435446.Jiao J.,Wu L.D.,2019.Fusion of multispectral and panchromatic images via morphological filter and improved PCNN in NSSTdomain.Journal of Image and Graphics,24(3):435446.(in Chinese)李彦，汪胜前，邓承志，2011.多尺度几何分析的图像去噪方法综述.计算机工程与应用，47（34）：168173,218.Li Y.,Wang S.Q.,Deng C.Z.,2011.Overview on image denoising based on multi-scale geometric analysis.Computer Engineeringand Applications,47(34):168173,218.(in Chinese)刘迪，贾金露，赵玉卿等，2021.基于深度学习的图像去噪方法研究综述.计算机工程与应用，57（7）：113.Liu D.,Jia J.L.,Zhao Y.Q.,et al.,2021.Overview of image denoising methods based on deep learning.Computer Engineering andApplications,57(7):113.(in Chinese)马科，2014.红外图像的多尺度几何分析理论及应用研究.成都：电子科技大学.Ma K.，2014.Multiscale geometric analysis theory and application research of infrared image.Chengdu：University of ElectronicScience and Technology of China.(in Chinese)唐飞，2014.基于 Contourlet 变换和 Shearlet 变换的图像去噪算法研究.湘潭：湘潭大学.Tang F.，2014.Research on image denoising methods based on contourlet transform and shearlet transform.Xiangtan：XiangtanUniversity.(in Chinese)吴安全，沈长圣，肖金标等，2017.基于一种渐进半软阈值函数的小波去噪.电子器件，40（2）：396399.Wu A.Q.,Shen C.S.,Xiao J.B,et al.,2017.Wavelet denoising based on an asymptotic semisoft thresholding function.ChineseJournal of Electron Devices,40(2):396399.(in Chinese)张杰，史小平，张焕龙等，2019.高噪声遥感图像稀疏去噪重建.哈尔滨工业大学学报，51（10）：4754.Zhang J.,Shi X.P.,Zhang H.L.,et al.,2019.High noise remote sensing image sparse denoising reconstruction.Journal of HarbinInstitute of Technology,51(10):4754.(in Chinese)张胜男，王雷，常春红等，2020.基于三维剪切波变换和 BM4 D 的图像去噪方法.山东大学学报（工学版），50（2）：8390.Zhang S.N.,Wang L.,Chang C.H.,et al.,2020.Image denoising based on 3D shearlet transform and BM4 D.Journal of ShandongUniversity(Engineering Science),50(2):8390.(in Chinese)赵洪臣，周兴华，彭聪等，2019.一种去除遥感影像混合噪声的集成 BM3D 方法.武汉大学学报信息科学版，44（6）：925932.Zhao H.C.,Zhou X.H.,Peng C.,et al.,2019.An integrated BM3D method for removing mixed noise in remote sensing image.Geomatics and Information Science of Wuhan University,44(6):925932.(in Chinese)Buades A.,Coll B.,Morel J.M.,2005.A non-local algorithm for image denoising.In:IEEE International Conference on ComputerVision and Pattern Recognition.San Diego:IEEE,6065.Dabov K.,Foi A.,Katkovnik V.,et al.,2007.Image denoising by sparse 3-D transform-domain collaborative filtering.IEEETransactions on Image Processing,16(8):20802095.Donoho D.L.,Johnstone I.M.,1994.Ideal spatial adaptation by wavelet shrinkage.Biometrika,81(3):425455.Donoho D.L.,1995.De-noising by soft-thresholding.IEEE Transactions on Information Theory,41(3):613627.Easley G.,Labate D.,Lim W.Q.,2008.Sparse directional image representations using the discrete shearlet transform.Applied andComputational Harmonic Analysis,25(1):2546.Guo K.H.,Labate D.,Lim W.Q.,et al.,2004,Wavelets with composite dilations.Electronic Research Announcements of the AmericanMathematical Society,10:7887.Guo K.H.,Kutyniok G.,Labate D.,2005.Sparse multidimensional representations using anisotropic dilation and shear operators.3 期樊华等：结合非下采样剪切波变换的 BM3D 去除图像噪声方法研究661Brentwood:Nashboro Press,113.Guo K.H.,Labate D.,2007.Optimally sparse multidimensional representation using shearlets.SIAM Journal on MathematicalAnalysis,39(1):298318.Kutyniok G.,Labate D.,2012.Shearlets:multiscale analysis for multivariate data.Boston:Springer.Labate D.,Lim W.Q.,Kutyniok G.,et al.,2005.Sparse multidimensional representation using shearlets.In:Proceedings of SPIE 5914,Wavelets XI.San Diego:SPIE,59140 U.Wang Z.,Bovik A.C.,Sheikh H.R.,et al.,2004.Image quality assessment:from error visibility to structural similarity.IEEETransactions on Image Processing,13(4):600612.662震灾防御技术18 卷