基于张量低秩分解和非下采样剪切波变换的视频图像去雪方法.pdf

2023 年 10 月 图 学 学 报 October2023第 44 卷 第5期 JOURNAL OF GRAPHICS Vol.44No.5 收稿日期：2023-03-09；定稿日期：2023-05-26 Received：9 March，2023；Finalized：26 May，2023 基金项目：国家自然科学基金项目(61379105)；安徽省自然科学基金项目(1908085MF208)Foundation items：National Natural Science Foundation of China(61379105);Anhui Provincial Natural Science Foundation(1908085MF208)第一作者：张云鹏(1993)，男，硕士研究生。主要研究方向为数字图像处理。E-mail： First author：ZHANG Yun-peng(1993),master student.His main research interest covers digital image processing.E-mail： 通信作者：周浦城(1977)，男，教授，博士。主要研究方向为图形图像处理、计算机视觉等。E-mail： Corresponding author：ZHOU Pu-cheng(1977),professor,Ph.D.His main research interests cover graphic image processing,computer vision,etc.E-mail： 基于张量低秩分解和非下采样剪切波变换的 视频图像去雪方法 张云鹏1，周浦城1,2，薛模根1,2(1.偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031；2.陆军炮兵防空兵学院信息工程系，安徽 合肥 230031)摘要：在雪天条件下，雪花会对视频监控系统造成遮挡，使部分重要景物信息无法被捕获，严重降低获取的视频图像质量，对后续目标检测与识别等高级图像处理造成强烈干扰。现有视频图像去雪方法普遍存在去雪效果不稳定，运算耗时长等缺陷。针对该问题，首先利用张量能充分挖掘视频图像中蕴含的空间位置信息的优势，通过张量低秩分解模型与三维全变分正则化相结合，将受到雪花污染的监控视频分解为静态背景层和运动前景层；然后，采用基于非下采样剪切波变换和数学形态学滤波方法，将运动前景层进一步分解为运动物体层和雪层；最后，将静态背景层和运动物体层进行重构，得到最终去雪后的视频图像。实验结果表明，该方法能够有效去除视频图像中的雪花干扰，清晰保留景物边缘信息，在处理效果和运算效率上均优于现有先进算法。关键词：张量低秩分解；非下采样剪切波变换；视频去雪；数学形态学滤波 中 图 分 类 号：TP 391 DOI：10.11996/JG.j.2095-302X.2023050947 文 献 标 识 码：A 文 章 编 号：2095-302X(2023)05-0947-08 Snow removal in video based on low-rank tensor decomposition and non-subsampled shearlet transform ZHANG Yun-peng1,ZHOU Pu-cheng1,2,XUE Mo-gen1,2(1.Anhui Province Key Laboratory of Polarization Imaging Detection Technology,Hefei Anhui 230031,China;2.Department of Information Engineering,PLA Army Academy of Artillery and Air Defense,Hefei Anhui 230031,China)Abstract:Under snowy conditions,snowflakes can obstruct video surveillance systems,preventing the capture of important scenery information and drastically reducing the quality of acquired video images.This interference can also strongly affect advanced image processing techniques such as subsequent target detection and recognition.The existing methods for removing snow from video images commonly suffer from drawbacks such as unstable snow removal performance and long computational time.To address this issue,firstly,the advantages of tensors in fully capturing spatial location information within video images were leveraged.By combining a low-rank tensor decomposition model with three-dimensional total variation regularization,the snow-contaminated surveillance video was decomposed into a static background layer and a moving foreground layer.Then,based on the non-subsampled shearlet transform and mathematical morphology filtering methods,the moving foreground layer was further decomposed into a moving object 948 图像处理与计算机视觉 2023 年 1 layer and a snow layer.Finally,the static background layer and moving object layer were reconstructed to obtain snow-free video images.The experimental results demonstrated the effectiveness of this approach in removing snowflake interference from video images while clearly retaining scene edge information.Moreover,the proposed method outperforms existing state-of-the-art algorithms in terms of processing efficacy and operational efficiency.Keywords:low-rank tensor decomposition;non-subsampled shearlet transform;snow removal in video;mathematical morphology filtering 视频监控设备现如今已随处可见，在人民生产生活中发挥了越来越重要的作用。然而在雾、霾、雨、雪等不良天气及低照度环境下，视频监控设备输出的画面质量会出现严重退化，为后续分析处理带来挑战1-3。尤其在降雪天气，由于雪花的遮挡作用，不仅妨碍人眼视觉观察和视频图像质量，还影响到计算机视觉算法的鲁棒性和可靠性。现有的视频图像去雪算法大致可以概括为四大类，即基于帧差的方法、基于滤波的方法、基于稀疏表示的方法以及基于深度学习的方法。其中，帧差法4计算方便，但易模糊景物边缘，且背景中存在运动目标时易受干扰。滤波法5结合图像的频域特性和雪花的局部特征进行滤除处理，虽然算法复杂度较低，但去雪效果不稳定。基于稀疏表示的方法6-8将雪天视频图像信息进行稀疏分解，进而通过对不同成分的单独处理，达到去除雪花的效果，但容易出现雪花误检测现象。基于深度学习的方法9-13通过训练深度神经网络来获得有雪和无雪视频图像之间的高维映射关系，尽管对于特定的数据集能够获得较好的去雪效果，但网络模型泛化能力有限。针对现有方法存在的不足，本文提出一种新的视频图像去雪方法，基于张量低秩分解充分发掘视频图像空间位置信息，结合非下采样剪切波变换(non-subsampled shearlet transform，NSST)14有效实现了视频图像去雪效果。1 雪天视频图像降质问题描述 在受降雪影响的视频图像中，t 时刻帧图像可近似分解为背景图像 Ib和雪像 Is两部分，即对于 t时刻位置(x,y)，雪天降质视频模型可表示为 (,)(,)(,)bsI x y tIx y tIx y t(1)由于雪像 Is未知，仅仅通过受雪影响的图像 I 求解清晰的背景图像 Ib是病态的反问题，必须增加有关雪像 Is或背景图像 Ib的先验信息才能求解。一般来说，在降雪天气下获得的视频图像是由静态背景、抖动背景、运动物体和雪花等几部分共同组成的。为此，视频图像去雪任务大体可以从 2 个方面来考虑：通过雪花的特征信息精准检测雪花，从而获得准确的雪像 Is；通过背景和运动物体特征信息，来抽取静态背景、抖动背景和运动物体组成的背景图像 Ib。2 种处理方式成功的关键均在于能否通过合适的判别特征来准确区分雪花和非雪花信息。为有效去除视频图像中的雪花干扰，清晰保持景物的边缘信息，本文首先通过张量低秩分解得到静态背景层和运动前景层；然后，利用 NSST和数学形态学滤波将运动前景层进一步区分为运动物体层和雪层；最后，将运动物体层与静态背景层进行重构，得到最终去雪后的视频图像。算法处理流程如图 1 所示。图 1 算法处理流程 Fig.1 Overview of the proposed method 第 5 期 张云鹏，等：基于张量低秩分解和非下采样剪切波变换的视频图像去雪方法 949 2 基于张量低秩分解的背景建模 2.1 张量与张量低秩分解 张量的本质是多维数组，如单帧图像可看作是二阶张量，视频可以视为三阶张量。张量低秩分解能够获取反映多维数组本征结构信息的低维数组，分解方法主要有塔克分解、CP 分解(canonical polyadic decomposition)和 Block Term 分解等等。近年来，张量低秩分解越来越多地应用于图像处理领域，如图像复原15、多聚焦图像融合16等。对于背景完全静止的固定场景监控视频图像，帧与帧之间幅度差异很小，绝大多数像素位置差值近似为零。但由于运动雪花的存在，导致帧与帧之间差异变大。因此，理论上视频图像的张量低秩分解可以实现静止背景与运动雪花的分离。本文用大写加粗英文字母表示张量，如 X；大写英文字母表示矩阵，如 X；小写加粗英文字母表示矢量，如 x；小写英文字母表示标量。2 个张量 X 和 B 的内积定义为 121212,=NNNi iii iii iixbX B 张量 X 的 F 范数定义为=,FXX X。张量 X的 n 模矩阵化表示为 X(n)，X 与矩阵 U 的 n 模乘用nUX表示。多重线性秩定义为数组(r1,r2,rN)，其中rn=rank(X(n)，n=1,2,N。当全部X(n)均为低秩时，X为低秩张量。2.2 图层分解模型 对于一组被雪花污染的监控视频数据，可以用一个三阶张量表示为 121,TTXXXXX(2)其中，(1,2,)th wXtT代表t时刻的视频帧图像，h和w分别为图像的长度和宽度。于是有 XBG(3)其中，B和G分别为静态背景和运动前景组成的三阶张量。根据雪天视频图像降质模型，t时刻帧图像Xt可以分解为 tttXBG(4)其中，Bt为t时刻的静态背景帧；Gt为t时刻的运动前景帧，其由运动物体和雪花组成，即 tttGYS(5)其中，Yt为t时刻视频帧图像中运动物体信息；St为t时刻视频帧图像中的雪花信息。尽管监控摄像头可能存在轻微抖动等原因，导致不同时刻背景帧有所差异，但是对于整段监控视频而言，可以近似认为静态背景B保持不变，所以本文利用低秩塔克分解来描述B的空间位置特性。借鉴文献5的研究，本文使用三维全变分(three-dimensional total variation，3DTV)正则化17-18来处理，得到 2min3DTV,1B GBG(6)约束项为 112233T=(1,2,3)iiUUUU UI iXBGB V(7)其中，V1U12U23U3是核张量为V和秩为ris的因子矩阵Uis的塔克分解。B的3DTV范数为 ,1,1,3DTV,1,=i j ki j ki j ki jki j ki j kij kbbbbbbB(8)其中，bi,j,k为B的第(i,j,k)项。由于塔克分解的非凸性，上述问题是非凸优化问题，可以通过增广拉格朗日乘子法(augmented Lagrange method，ALM)推导出模型中的闭式解。对于B的更新，可以通过以下优化问题求解，即 ()112233T2()()()12min12ikikkkFU UIUUU VXGZ(9)为了提高运算效率，本文使用高阶正交迭代算法(higher-order orthogonal iteration，HOOI)19得到核张量V(k)和()(1,2,3)kiUi。更新后的B(k+1)为 (1)(1)(1)(1)(1)112233=kkkkkUUUBV(10)对于Z的更新为 222(1)(1)*()()*()23()()()()()(zzhkvckzkkzkHTfft Dfft Dfft Dfft HifftuuDTDBZ1F(11)其中，D()=Dh();Dv();Dc()为三维差分算子；Dh()，Dv()和Dc()分别为三维空间各方向的一阶差分算子；D*()为D()的伴随。其中fft和ifft分别 950 图像处理与计算机视觉 2023 年 为快速傅里叶变换及其逆变换；|2为逐个元素进行运算。引入如下软阈值算子，则有,R(),0,zzzzz 其他 对于F的更新为 ()1(1)3R()kkkDFZ(12)对于G的更新为 ()1(1)1RkkkGXB(13)对于1，2和3的更新为 (1)()(1)(1)11(1)()(1)(1)22(1)()(1)(1)33()kkkkkkkkkkkkD XBGBZZF(14)3 雪花检测与分离 3.1 基于NSST的雪花检测 在分离出的运动前景中，既包含雪花信息，也包含运动物体和抖动背景。运动物体和抖动背景的边缘大多具有明显的方向性，使用 NSST 对运动前景层高频子带进行多方向分解时，会在与分解方向相近的图层中呈现较高数值，而其他分解方向的数值较低，但雪花在各分解方向数值均保持相对稳定，因此下面采用 NSST 实现雪花粗检测。NSST是文献14于2008年在剪切波变换的基础上提出的，具有平移不变性和描述图像纹理细节灵活方便等优点。对于一幅二维图像，剪切波的仿射变换系统可以表示为 2,()det()()mnmABm n lxAB A xl(15)其中，m，n分别控制分解尺度和分解方向；2l为平移参数；22()L，L 为可积空间；A和 B 均为 22 可逆矩阵且 det|B|=1；Am为尺度变换矩阵；Bn为几何变换矩阵。矩阵 A 和 B 常用形式为 40,02A1101B(16)利用 NSST 检测雪花步骤如下：步骤 1.对运动前景层帧 Gt进行非下采样金字塔变换，得到低频层和高频层。步骤 2.通过剪切波对高频层进行滤波，提取不同方向信息，得到不同方向高频子带。提取 8个方向子带信息，记为 L(i,j)。步骤 3.对高频子带系数进行如下处理 (,)(,)1,4,5,6,7,85i jh i jhLLh(17)其中，Lh(i,j)为位置(i,j)处的子带系数从大到小排序得到的结果。当景物边缘与图像分解方向接近时，高频子带系数也可能会偏大，故将前三项舍去。步骤 4.选取阈值T(一般取0.6)对高频子带进行二值化处理，得到雪花位置检测结果为 (,)(,)(,)1,0,i ji ji jLTMLT(18)所有 M(i,j)构成的二维矩阵即为输入运动前景帧 Gt对应的雪花位置地图 M。3.2 运动物体和雪花分离 由于数学形态学方法具有简单易行、对噪声不灵敏等优点，接下来采用数学形态学滤波实现运动物体和雪花分离。为了较好地拟合雪花的形状，将半径 r 的圆 R 视为结构元素来膨胀 M，即 ()pyRMxM (19)其中，y 为集合平移的位移量；R 为对 R 做关于原点的反射得到的反射集合。Mp取反变换得到 pfMM(20)然后计算Gt与Mf的哈达玛乘积，得到去雪后的运动物体层 ttfYGM(21)再将Yt加回到Bt，得到去雪视频图像帧，即 tttdYIB(22)3.3 去雪算法描述 具体步骤如下：步骤 1.输入原始视频图像X，塔克分解的期望秩一般取0.8h,0.8w,1020-21，=1，=0.01，=100。步骤 2.初始化条件：B=Z=G=0，1=2=3=0，?=1.5，k=0，max=106。步骤 3.根据式(6)式(14)，更新迭代B，G，F，Z，更新迭代参数=min(?,max)；更新迭代的收敛条件为 2()(1)2kkFFBBX 第 5 期 张云鹏，等：基于张量低秩分解和非下采样剪切波变换的视频图像去雪方法 951 步骤 4.通过式(15)式(18)得到输入运动前景帧Gt对应的雪花位置地图M。步骤 5.根据式(19)式(22)得到去雪后的视频图像帧tdI。步骤 6.将视频图像帧tdI合成为去雪视频。4 实验结果与分析 为验证提出的视频图像去雪方法的可行性与有效性，在 CPU 为酷睿 i7-1165G7 处理器、主频3.2 GHz、内存 16 GB、64 位 Windows 7 操作系统的笔记本电脑上，使用 MATLAB R2020a 进行实验。4.1 合成雪视频实验 首先通过视频加雪花效果软件在无雪视频中人工添加雪花，再对合成后的含雪视频图像进行处理，图 2 给出了本文算法与现有典型去雪算法的对比效果，包括基于矩阵低秩补全或卷积稀疏编码的方法 LRMC6，MSCSC7和 OTMSCSC8，基于深度学习的方法 MAWRNet9，HDCWNet10，JSTASR11，DesnowNet12和 AirNet13。可以看出，MAWRNet，HDCWNet，DesnowNet，AirNet 和OTMSCSC 处理结果中雪花残留较多，而 JSTASR，LRMC，MSCSC 和本文算法去雪效果较好，且本文算法获得的图像景物细节更加清晰，效果更好。(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)图 2 合成雪视频去雪效果对比(a)合成雪视频图像；(b)MAWRNe；(c)HDCWNet；(d)JSTASR；(e)DesnowNet；(f)AirNet；(g)LRMC；(h)MSCSC；(i)OTMSCSC；(j)Ours)Fig.2 Comparison of snow removal results of synthetic snow videos(a)Video with synthetic snow.;(b)MAWRNe;(c)HDCWNet;(d)JSTASR;(e)DesnowNet;(f)AirNet;(g)LRMC;(h)MSCSC;(i)OTMSCSC;(j)Ours)为了对不同去雪算法进行定量评价，这里选取峰值信噪比(peak signal-to-noise ratio，PSNR)、结构相似性(structural similarity，SSIM)，特征相似性(feature similarity，FSIM)和均方根误差(root mean square error，RMSE)等 4 个有参考图像质量评价指标进行分析计算。其中，PSNR 值越大，说明待评价图像质量越好。SSIM 通过亮度、对比度和结构 3 个特性评价 2 幅图像相似程度，FSIM 通过相位一致性和梯度相似性评价 2 幅图像相似程度，SSIM 和 FSIM 值越大说明待评价图像与参考图像越接近。RMSE 反映 2 幅图像差异程度，其值越小说明待评价图像越接近参考图像。各算法评价指标数据对比见表 1。可以看出，利用本文算法得到的去雪效果在 PSNR，SSIM，FSIM 和 RMSE 4 个指标方面均优于现有算法。表 1 不同算法去雪效果评价结果 Table 1 Evaluation results of different snow removal methods 算法 PSNR(dB)SSIM FSIM RMSE合成雪天视频图像33.467 0 0.969 3 0.952 8 5.409 9MAWRNet 35.741 8 0.976 7 0.981 0 4.163 4HDCWNet 20.891 7 0.897 4 0.939 4 23.012 0JSTASR 23.919 2 0.872 7 0.930 3 16.239 7DesnowNet 30.998 0 0.963 7 0.955 6 7.188 5AirNet 32.644 7 0.968 7 0.954 7 5.974 1LRMC 37.412 1 0.976 4 0.992 1 3.435 1MSCSC 36.367 6 0.973 9 0.988 3 3.874 0OTMSCSC 35.857 6 0.976 8 0.989 9 4.108 7本文算法 38.098 8 0.979 6 0.995 6 3.173 9注：加粗数据为最优值 4.2 真实雪视频实验 本文选取静态背景场景、动态背景场景以及 952 图像处理与计算机视觉 2023 年 存在运动物体等 3 种典型应用场景进行对比实验，处理结果分别如图 35 所示。其中，静态背景场景为视频中除雪花外，其他景物处于静止状态。动态背景场景为视频中除雪花外，存在背景抖动，如树枝摇摆、水波荡漾等。存在运动物体场景是指视频中存在行进的车辆、行人等运动物体。从实 验 结 果 可 以 看 出，HDCWNet，JSTASR，OTMSCSC 及本文算法均能够获得较好的去雪效果，其余算法去雪效果有限，体现在视频图像中残留雪花信息较多。但 HDCWNet 和 JSTASR 算法在去除雪花位置处图像颜色发生失真，OTMSCSC算法使运动行人产生重影，而本文算法能够在清晰保留背景边缘信息的同时，将视频中的雪花有效去除干净。(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)图 3 静态背景场景去雪效果对比(a)雪天视频图像；(b)MAWRNet；(c)HDCWNet；(d)JSTASR；(e)DesnowNet；(f)AirNet；(g)LRMC；(h)MSCSC；(i)OTMSCSC；(j)本文算法)Fig.3 Comparison of snow removal effect for stationary background scene(a)Video with real snow;(b)MAWRNet;(c)HDCWNet;(d)JSTASR;(e)DesnowNet;(f)AirNet;(g)LRMC;(h)MSCSC;(i)OTMSCSC;(j)Ours)(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)图 4 动态背景场景去雪效果对比(a)雪天视频图像；(b)MAWRNet；(c)HDCWNet；(d)JSTASR；(e)DesnowNet；(f)AirNet；(g)LRMC；(h)MSCSC；(i)OTMSCSC；(j)本文算法)Fig.4 Comparison of snow removal effect for dynamic background scene(a)Video with real snow;(b)MAWRNet;(c)HDCWNet;(d)JSTASR;(e)DesnowNet;(f)AirNet;(g)LRMC;(h)MSCSC;(i)OTMSCSC;(j)Ours)对真实雪天视频图像的去雪效果进行客观评估需要同时兼顾雪花去除与场景细节信息保持，目前尚未建立专门的定量评价指标。本文参考不良天气视频图像增强处理相关研究22-23，选取基于感知的图像质量评价器(perception based image quality evaluator，PIQE)、自然图像质量评价器 第 5 期 张云鹏，等：基于张量低秩分解和非下采样剪切波变换的视频图像去雪方法 953 (natural image quality evaluator，NIQE)无参考图像空间质量评价器(blind/referenceless image spatial quality evaluator，BRISQUE)等 3 项无参考图像质量评价指标进行定量分析计算。3 项评价指标对应的数值越小，说明待评价图像质量越好。表 2 给出了不同场景下几种算法的评价结果，不难看出，本文算法在定量分析评价方面总体上要优于现有算法，同时也与主观评价结果相一致。(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)图 5 存在运动物体场景去雪效果对比(a)雪天视频图像；(b)MAWRNet；(c)HDCWNet；(d)JSTASR；(e)DesnowNet；(f)AirNet；(g)LRMC；(h)MSCSC；(i)OTMSCSC；(j)本文算法)Fig.5 Comparison of snow removal effect for moving object scene(a)Video with real snow;(b)MAWRNet;(c)HDCWNet;(d)JSTASR;(e)DesnowNet;(f)AirNet;(g)LRMC;(h)MSCSC;(i)OTMSCSC;(j)Ours)表 2 不同视频去雪算法的定量评价结果 Table 2 Comparison of evaluation index for different snow removal algorithms 算法 图 3 图 4 图 5 PIQE NIQE BRISQUEPIQE NIQE BRISQUEPIQE NIQE BRISQUE 原始图像 57.096 9 3.093 0 30.038 8 42.008 5 6.336 4 27.307 5 46.722 9 4.362 3 26.678 2 MAWRNet 51.574 4 3.151 4 30.131 8 33.379 0 4.028 9 12.518 5 24.237 5 2.982 5 11.384 1 HDCWNet 55.649 1 3.764 4 26.802 2 29.474 1 5.787 3 22.922 0 40.312 8 4.639 1 19.357 9 JSTASR 55.404 1 3.482 6 28.166 8 28.838 8 6.059 0 13.251 2 39.977 3 4.500 5 22.012 9 DesnowNet 58.487 0 3.265 2 22.623 1 39.875 0 3.988 3 13.655 9 42.540 9 4.501 7 9.358 0 AirNet 54.280 1 3.113 9 24.102 5 37.785 9 3.849 8 18.953 8 35.771 3 4.244 9 8.865 1 LRMC 58.719 4 3.708 1 23.952 0 38.958 1 3.142 8 26.065 9 36.664 0 4.312 6 8.066 7 MSCSC 56.851 6 3.124 7 29.685 1 42.400 0 2.981 6 26.015 1 37.463 9 4.040 3 10.555 4 OTMSCSC 56.508 2 3.103 4 29.086 4 38.994 3 4.140 9 26.905 0 39.287 0 4.407 5 19.684 8 本文算法 51.884 1 3.026 2 22.331 5 27.586 8 2.811 7 12.500 7 22.249 6 2.955 8 8.572 2 注：加粗数据为最优值；“”表示数值越小图像质量越好 4.3 算法复杂度分析 对于数据规模为hwT的雪天视频图像X，本文算法计算代价主要由基于张量低秩分解的背景建模和基于 NSST 的雪花检测 2 个阶段产生。背景建模阶段的主要计算代价在于迭代更新B和Z的子问题，其他子问题利用代数计算即可求解。在更新时B，需要利用 HOOI 算法通过多次奇异值分解得到Ui(i=1,2,3)的估计值，计算代价为O(K(h2r2r3+(r2r3)3+w2r1r3+(r1r3)3+Tr1r2+(r1r2)3)，其中r1,r2,r3为X的塔克分解期望秩，K为 HOOI 算法需要的迭代次数，对hw矩阵进行奇异值分解的计算复杂度为O(h2w+w3)。随后，通过式(10)更新B产生矩阵乘法的计算复杂度，其计算代价为O(r2r3r1h+r3hw+hwr3T)。FFT 的计算复杂度为O(MlogM)，其中M为数据规模，所以更新Z的计算代价为O(hwTlog(hwT)。雪花检测阶段计算代价主要由于 FFT 产生，其计算复杂度为O(hwTlog(hwT)。综上所述，本文算法总的计算复杂度为O(K(r1r2)3)。为比较不同算法的计算效率，在相同实验条 954 图像处理与计算机视觉 2023 年 件下，分析了本文算法与其他算法处理不同场景下的雪天视频图像耗时情况。不同视频去雪算法的耗时数据见表 3(基于深度学习的去雪算法只能处理单帧图像，故在此未列入耗时比较范围)。从数据可以看出，本文算法在耗时方面具有一定的优势，这是由于本文在张量低秩分解时采用了高阶正交迭代算法，提高了运算效率。表 3 算法耗时对比(s)Table 3 Running time comparisons(s)输入 LRMC MSCSC OTMSCSC 本文算法图 3(a)3 046 2 184 1 317 594 图 4(a)327 210 81 112 图 5(a)792 423 312 289 注：加粗数据为最优值 5 结束语 本文通过张量低秩分解对受雪污染的监控视频图像进行建模，得到静态背景层和运动前景层，然后采用基于非下采样剪切波变换和数学形态学滤波的方法，将运动前景层进一步分解为运动物体层和雪层，最后将静态背景层和运动物体层重构，得到去雪后的视频。实验结果表明，该方法能够有效实现视频图像去雪，处理后的图像细节信息清晰完整，在定量和定性分析方面均优于现有先进算法。但本文算法使用 NSST 检测雪花时，检测阈值依赖于人工经验预设，下一步将深入研究自适应阈值选取方法。参考文献(References)1 周浦城,张杰,薛模根,等.基于卷积分析稀疏表示和相位一致性的低照度图像增强J.电子学报,2020,48(1):180-188.ZHOU P C,ZHANG J,XUE M G,et al.Low-light image enhancement based on convolutional analysis sparse representation and phase congruencyJ.Acta Electronica Sinica,2020,48(1):180-188(in Chinese).2 张学锋,李金晶.基于双注意力残差循环单幅图像去雨集成网络J.软件学报,2021,32(10):3283-3292.ZHANG X F,LI J J.Single image de-raining using a recurrent dual-attention-residual ensemble networkJ.Journal of Software,2021,32(10):3283-3292(in Chinese).3 贾童瑶,卓力,李嘉锋,等.基于深度学习的单幅图像去雾研究进展J.电子学报,2023,51(1):231-245.JIA T Y,ZHUO L,LI J F,et al.Research advances on deep learning based single image dehazingJ.Acta Electronica Sinica,2023,51(1):231-245(in Chinese).4 YANG T W,NSABIMANA V,WANG B F,et al.Snow fluff detection and removal from video imagesC/Ihe 43rd Annual Conference of the IEEE Industrial Electronics Society.New York:IEEE Press,2017:3840-3844.5 LI Y J,WU R,JIA Z H,et al.Video desnowing and deraining via saliency and dual adaptive spatiotemporal filteringJ.Sensors,2021,21(22):7610:1-7610:18.6 KIM J H,SIM J Y,KIM C S.Video deraining and desnowing using temporal correlation and low-rank matrix completionJ.IEEE Transactions on Image Processing,2015,24(9):2658-2670.7 LI M H,XIE Q,ZHAO Q,et al.Video rain streak removal by multiscale convolutional sparse codingC/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2018:6644-6653.8 LI M H,CAO X Y,ZHAO Q,et al.Online rain/snow removal from surveillance videosJ.IEEE Transactions on Image Processing,2021,30:2029-2044.9 CHEN W T,HUANG Z K,TSAI C C,et al.Learning multiple adverse weather removal via two-stage knowledge learning and multi-contrastive regularization:toward a unified modelC/2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2022:17632-17641.10 CHEN W T,FANG H Y,HSIEH C L,et al.ALL snow removed:single image desnowing a