基于单演小波分析的微小运动放大技术研究.pdf

第 51 卷收稿日期：2022年12月12日，修回日期：2023年1月17日作者简介：陆渊平，男，硕士，研究方向：机器视觉。沈艳霞，女，教授，研究方向：控制工程。1引言微小运动视频放大技术能够展现肉眼无法识别的运动。小到呼吸时的胸腔起伏脉搏跳动，大到桥梁楼宇在风中的晃动，对这些不明显的运动进行放大具有监测预防的作用，因而在建筑、医疗、机械监控等领域都具有重要意义。2005年，Liu等提出了一种微小运动增强方法1，基于物体运动轨迹的光流法，视角跟随流体改变，对视频帧进行校准后进行聚类跟踪，再人为分割出图像运动层，提取放大的部分渲染放大。该方法需要精确的轨迹跟踪和人工干预，实际应用场景有限。2012年 Wu等提出了一种基于欧拉视角的欧拉视频放大技术（EVM）2，EVM将视角固定为整幅图像，观察像素点在时空下的变化。将图像分解为不同空间尺度，应用带通滤波器提取感兴趣像素变化，放大运动后重建图像。但EVM算法并没有考虑到噪声干扰，放大目标频带内微小运动的同时也导致噪声被放大。为此，Wadhwa等在2013年提出了一种基于相位的欧拉视频增强算法（PBVM）3，将图像金字塔从空域转换到频域，得到像素点的幅值和相位信号，对其中相位信号放大，由于不改变幅值分量，基于相位的欧拉视频增强算法支持更大的放大倍数且可以抑制视频噪声。在最近的研究中，连续小波变换被应用于基于相位的欧拉视频放大，Ali等提出了一种基于小波分解的实时运动放基于单演小波分析的微小运动放大技术研究陆渊平沈艳霞（江南大学物联网技术应用教育部工程研究中心无锡214122）摘要基于机器视觉的微小运动放大技术能将细小变化增强到肉眼可视的程度。传统放大算法依靠拉普拉斯金字塔分解获得图像相位信息，算法复杂耗时，大扰动时会产生大量噪声。论文结合Riesz变换和小波多尺度分析，提出一种微小运动放大算法，利用设计的单演小波快速分解视频帧得到相位和方向信息，提高视频处理速度。与现有放大算法进行实验对比，得到的客观评价指标表明该文算法能更准确地放大运动细节，同时大幅缩短视频处理时间。关键词单演变换；运动放大；小波分析；图像处理中图分类号TP391DOI：10.3969/j.issn.1672-9722.2023.06.016Research on Small Motion Magnification Based onMonogenic Wavelet AnalysisLU YuanpingSHEN Yanxia（Engineering Research Center of the Ministry of Education for Internet of Things Technology，Jiangnan University，Wuxi214122）AbstractSmall motion magnification technology based on machine vision can magnify small changes to the degree that people can see.Traditional magnification algorithms rely on Laplace pyramid decomposition to obtain motion phase，which are complex，time-consuming，and with a lot of artifacts under large-scale motions in the video.In this paper，a new motion amplification algorithm is proposed by combining Riesz transform with wavelet analysis.The image is decomposed to obtain phase and direction quickly and the motion is magnified through magnifying the phase differences between image frames.Compared with the existing motionmagnification algorithms，the objective evaluation index obtained by the experiment shows that the algorithm proposed can more accurately enhance the motion details，while greatly reducing the processing time.Key Wordsmonogenic transform，motion magnification，wavelet analysis，image processingClass NumberTP391总第 404 期2023 年第 6 期计算机与数字工程Computer&Digital EngineeringVol.51 No.613022023 年第 6 期计算机与数字工程大算法45，采用了基于Haar族小波和自适应中值滤波器，得到了低噪声高清晰度的放大结果。以上运动放大算法大多是在拉普拉斯金字塔分解基础上在滤波过程和图像预处理过程加以优化，传统的多尺度小波分解的局限性在于有限方向分解，只能得到有限方向的小波分解系数，提取特征信息时存在冗余6。为此本文考虑将小波多尺度分析和单演分析结合，利用单演信号平移旋转不变性性质构造各向同性单演小波。Freeman等此前提出的快速金字塔分解也是一种便捷的多尺度分析方法7，相比之下单演小波分析具有更明确的物理意义，滤波器结构简洁具有更快速的实现方式。算法极大提升视频帧分解重构速度，同时设计了大幅度运动滤波，有效抑制了非线性场景下大幅运动带来的噪声，对于非线性场景同样适用。2单演小波运动放大算法2.1单演变换单演信号是解析信号在二维空间上各向同性的扩展，是旋转不变的二维解析信号8。相较于传统解析信号，单演信号在处理局部特征时，将区域内希尔伯特能量最大值处计作主导方向，再沿该方向进行一维希尔伯特变换得到幅度相位信息，因此单演信号具备平移和旋转不变性，在去噪时可以克服小振动角度导致的毛刺现象。首先对视频序列进行单演变换得到信号的三元数表示。一维解析信号是通过对一维输入信号进行希尔伯特变换得到的复数化函数。一维输入信号自身作为复数实部，希尔伯特变换作为虚部，转换为极坐标表示可得到局部幅值和相位信息：fN()x=f()x+j()x*f()x=A()x ej()x（1）希尔伯特变换是构建解析信号的关键，一维希尔伯特变换可看作对信号进行90相移的全通滤波器，传递函数定义为H()=jsign()=j|（2）希尔伯特变换的二维拓展是Riesz变换，也称为单演变换，与希尔伯特变换类似，在二维中其频率响应为j/|，可视为一对具有传递函数Hx()=ix Hy()=iy 的滤波器组9。对输入图像信号f(x)xR2，其Riesz变换表示为fR()x=f1()xf2()x=hx*f()xhy*f()x（3）两个滤波器组合后的复Riesz变换算子的傅立叶响应表示为Rf()x F()jx+yf()（4）其中f()表示图像信号f(x)的二维傅立叶变换，复Riesz变换时域表示为Rf()x=f1()x+jf2()x（5）单演信号定义为输入信号和输入信号沿x轴以及y轴的希尔伯特变换结果三个分量的表示：fm()x=()f()x Re()Rf()x Im()Rf()x=()ff1f2（6）图像单演信号的局部幅值表示为A()x=fm()x=f2+f12+f22（7）瞬时相位和局部方向可由下式得到：f=Acosf1=Asincosf2=Asincos（8）2.2小波分解与重建单演小波本质上是利用多重调和样条和分数阶微积分算子8，结合复Riesz变换和小波变换得到。图像通过复Riesz变换得到式（8），对得到的单演信号三元数分别进行小波分解得到小波系数，实现过程如图1。输入信号CiRiesz变换高通滤波实部f1虚部f2R（z）P（z）P（z）H（z）L（z）P（z）小波分解下采样低通滤波DP（z）ci-1低频子带系数i-1径向小波系数r2，i-1方向小波系数虚部ci-1低频子带系数P（z）r2，i-2r2，i-2P（z）r1，i-1方向小波系数实部i-2ci-2图1单演小波变换实现过程定义分数阶 Laplace 算子(D)，R+是2阶的各向同性微分算子9，定义其傅立叶域表示为(D)f(x)F2f()（9）多重调和样条是分数阶Laplace算子的样条函数。定义s(x)L2(R2)是阶多重调和样条(x)的采样函数，它满足：s()x=k2s x()xk（10）式中sx=s(x)|x=k是s(x)的整数采样，()x1303第 51 卷的傅立叶响应为()x F()=k2+2k（11）定义分数阶Laplace样条小波(x)10：(x)=(D)22()Dx（12）式中12，2是2阶插值算子，D是下采样矩阵。样条小波的基函数可表示为ik(x)=|det()D|i2()DixD1k（13）式中ik分别表示尺度系数和位移系数。将原信号经单演变换后进行各向同性小波分解，可得到阶Riesz-Laplace小波即单演小波：(x)=R(x)=R(D)22y()Dx（14）输入图像信号f的单演小波系数可表示为i k=fik（15）r1i k+jr2j k=fR*ik=Rfik（16）式中ik表示小波滤波器，i k表示径向小波系数，r1i和r2j分别表示复Riesz小波变换后的小波系数实部和虚部。为确定单演小波的主导方向需要用到结构矩阵Ji(k)10：Ji()kmn=l2lk rmi l rni l mn12（17）式中 l表示计算窗口中心对称加权数列，定义单演信号在窗口中希尔伯特变换平均值最大的方向作为局部主导方向：=12arctan2J12J22J11（18）经向量=()cos，sin单位化处理后，信号在方向通过一维希尔伯特变换得到：qi k=Re()ejRfik=r1i k cos+r2i k sin（19）将其表示为解析信号形式可以写成：Ai k ej=wi k+jqi k（20）从而可推得幅度Aik和相位：Ai k=w2ik+qik2（21）=arctanqi kwi k（22）单演小波重建包含结构相同的小波逆变换和Riesz逆变换，以小波逆变换为例，图2给出了逆变换流程图。图1中可看出，小波分解过程因为下采样导致轻微冗余，在重建过程通过子带回归输出标准下采样小波系数，回归标准小波基实现精准重建。小波分解小波重建子带回归Cii-1ci-1H（z-1）L（z-1）DDDDi-1H（z）L（z）Ci图2单演小波重建过程以一维信号式（23）为例进行放大，傅立叶分解得到：f()x+()t=Aei()x+()t（23）对频率处的子带S()xt=Aei()x+()t其相位()x+()t包含运动信息，将根据傅立叶位移定理通过修改相位可以控制运动。对式（23）进行幅度滤波和时域带通滤波后得到子带相位：B()xt=()t（24）将式（24）乘以放大倍数得到放大后的子带信号：S()xt=Aei()x+()1+()t（25）所有子带叠加重建后得到输出信号：I()xt=Aei()x+()1+()t=f()x+()1+()t（26）即说明微小运动(t)放大到()1+()t。类似的，通过式（21）、（22）可得到不同尺度下幅度和相位信号，改变信号希尔伯特域分解系数的相位，不改变幅度也可以在时域中移动信号，视频序列中边缘的任何微小运动对应该边缘希尔伯特变换系数相位的显著变化12。陆渊平等：基于单演小波分析的微小运动放大技术研究13042023 年第 6 期计算机与数字工程3实验结果和分析实验环境为 Windows 10 系统，i5 8500b 处理器，40G内存，Radeon Pro 570X 4G显卡，验证对象选用起重机，婴儿和手腕3组典型示例视频8。视频参数由表1给出，使用Matlab 2017b进行算法设计仿真和数据分析。图像小波分解阶数越高，边缘信息越丰富，但当层数超过一定程度后会造成信息冗余，经实验中不同分阶数下的图像质量对比，选择分解层数=3时图像质量和处理速度达到最优。三组对比实验如图35。图中给出了单演运动放大后的视频帧和时空切片下的细节表现，表2量将欧拉法EVM，基于相位放大法PBVM，快速相位放大法Fast-PBVM和本文介绍的单演小波算法在处理时间，结构相似性SSIM，峰值信噪比PSNR和图像质量分数四个方面进行对比。图像质量分数指标是从人的感知度量角度来计算，质量分数范围110，值越高，图像质量越好1314。峰值信噪比PSNR用来度量图像处理后相较原图的失真程度，PSNR越大说明放大图像和参考图像越接近，说明噪声越少。结构相似性是用来度量两张图像相似程度的参数，数值为1时表示两张相同的图像，为0时表示完全不同的图像。峰值信噪比和结构相似性数据取婴儿视频每间隔30帧图像对比结果的平均值。表2给出了不同放大算法下婴儿视频的质量分数，峰值信噪比和结构相似性数值对比。表1实验视频数据视频起重机婴儿手臂放大倍数505030截止频率L=100，H=550L=0.4，H=3L=0.6，H=4FPS603030（a）原始（b）PBWM法（c）单演小波法图3起重机运动放大结果对比实验结果，在婴儿视频中可以看到本文方法几乎没有伪影，且通过时空切片可以观察到婴儿胸部起伏已被明显放大。在存在大幅度运动噪声的起重机晃动视频中，本文的方法仍能保持较低伪影，画面依旧清晰。通过实验数据量化比较，基于单演小波的放大算法在质量分数，峰值信噪比和结构相似性几组对比实验中都优于传统运动放大算法。（a）原始（b）PBWM法（c）单演小波法图4婴儿运动放大结果（a）原始（b）PBWM法（c）单演小波法图5手臂脉搏运动放大结果表2运动放大算法耗时比较算法EVMPBVMFast-PBVM单演小波法起重机204.8s540.5s104.1s58.4s手臂122.8s236.6s78.2s43.2s婴儿87.6s264.5s68.5s31.1s表3婴儿视频放大算法比较算法EVMPBVMFast-PBVM单演小波法质量分数3.595.425.866.68PSNR30.6833.8235.3738.47SSIM0.720.830.850.934结语现有运动放大算法大多是在拉普拉斯金字塔分解基础上在滤波过程和图像预处理过程加以优化。本文从相位提取角度提出了一种新的基于单演小波分析的放大算法，单演信号不仅能表示局部相位幅度信息还有方向信息，而单演小波能更好地在多尺度表示图像的幅度、相位和方向信息，与图像金字塔分解方法相比具有更明确的物理意义，滤波器结构简洁具有更快速的实现方式。实验结果表明，基于单演小波分析的微小运动放大算法相较于现有几种放大算法，视频处理时间更短，图像质量和信噪比更高，具有良好的放大效果。本文是在平稳运动条件的假设下进行，对于非平稳运动对象，运动频率在时空下呈非线性变化，可考虑建立参数化数学模型进行时频分析进一步研究。（下转第1342页）1305第 51 卷M.Springer Berlin Heidelberg：Machine Learning andKnowledge Discovery in Databases，2008.12DONG Xi.Hadoop technology insider：in-depth analysisof MapReduce architecture design and implementationprinciple：in-depth study of MapReduce M.Beijing：Machinery Industry Press，2013.13管玉勇.K-means 算法和智能算法的融合研究 D.合肥：安徽大学，2014.GUAN Yuyong.Research on the Fusion of K-means Algorithm and Intelligent Algorithm D.Hefei：Anhui University，2014.14左倪娜.基于现代优化算法的 K-means聚类的研究与应用 J.软件导刊，2016，15（4）：32-34.ZUO Nina.Research and application of K-means clustering based on modern optimization algorithm J.SoftwareGuide，2016，15（4）：32-34.15王磊，赵磊，郑宝玉.结合朴素贝叶斯和欧氏距离的二类非均衡数据集成方法 J.信号处理，2017，33（04）：528-532.WANG Lei，ZHAO Lei，ZHENG Baoyu.EnsembleMethod Combine Naive Bayes and Euclidean Distancefor Classification Binary Imbalanced DataJ.SignalProcessing，2017，33（04）：528-532.16Sun Z，Song Q，Zhu X，et al.A novel ensemble methodfor classifying imbalanced dataJ.Pattern Recognition，2015，48（5）：1623-1637.17Huang J，Ling C X.Using AUC and Accuracy in Evaluating Learning AlgorithmsJ.IEEE Transactions onKnowledge&DataEngineering，2005，17（3）：299-231.参 考 文 献1LIU C，Torralba A，Freeman W T，et al.Motion magnificationJ.ACM Transactions on Graphics，2005，24（7）：519-526.2Wu H Y，Rubinstein M，Freeman W T，et al.Eulerianvideo magnification for revealing subtle changes in theworldJ.ACM Trans.Graph，2012，31（4）：65.3Wadhwa N，Rubinstein M，Durand F，Freeman W T.Phase-based video motion processingJ.ACM Trans.Graph，2013，32（4）：80-88.4Al-Naji A，Chahl J.An efficient motion magnification system for real-time applicationsJ.Machine Vision andApplications，2018，29（4）：585-600.5Al-Naji A，Chahl J.Non-contact heart activity measurement system based on video imaging analysisJ.PatternRecognit.Artif.Intell.，2017，31（2）：1-21.6M.Unser and D.Van De Ville，Wavelet steerability andthe higherorder Riesz transformJ.IEEE Trans.ImageProcess，2010，19（3）：636-652.7Wadhwa N，Rubinstein M，Durand F，Freeman W T.Riesz pyramid for fast phase-based video magnification.C/2014 IEEE International Conference on Computational Photography（ICCP），2014：1-10.8Felsberg M，Sommer G.The monogenic signal J.IEEETransactions on Signal Processing，2001，49（12）：3136-3144.9Sofia C.Olhede，Georgios Metikas.The Monogenic Wavelet TransformJ.IEEE Transactions on Signal Processing，2009，57（9）：3426-3441.10Unser M，Sage D，Van De Ville D.Multiresolution monogenic signal analysis using the riesz-laplace wavelettransform J.IEEE Transactions on Image Processing，2009，18（11）：2402-2418.11Y.Zhang，S.L.Pintea，J.C.Van Gemert.Video Acceleration Magnification C/In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu，2017：502-510.12Gamal Fahmy，Mamdouh F.Fahmy.Micro-movement invideo signals using complex wavelet analysis.J.TheInstitution of Engineering and Technology，2017，11（11）：986-993.13朱新山，姚思如.图像质量评价：融合视觉特性与结构相似性指标 J.哈尔滨工业大学学报，2018（05）：121-128.ZHU Xinshan，YAO Siru.Image quality assessment：Combining the characteristics of HVS and structural similarity index J.Journal of Harbin Institute of Technology，2018（05）：121-128.14蒋刚毅，黄大江，王旭，等.图像质量评价方法研究进展 J.电子与信息学报，2010（01）：219-226.JIANG Gangyi，HUANG Dajiang，WANG Xu，et al.Overview on Image Quality Assessment MethodsJ.Journalof Electronics&Information Technology，2010（01）：219-226.15Neal Wadhwa，Hao-Yu Wu，Abe Davis，et al.Eulerianvideo magnification and analysisJ.Edit on Github，2016，60（1）：87-95.16Birajadar P，Patidar V，Shirvalkar P，et al.Enhancement of latent fingerprints on banknotes using monogenicwaveletsC/2016 International Conference on SignalProcessingandCommunications（SPCOM）.IEEE，2016：11-18.（上接第1305页）杨栋等：基于特征权重与K-Medoids算法结合的非均衡数据处理方法1342