图像去运动模糊仿真研究_李素平.pdf

河南科技Henan Science and Technology计算机科学与人工智能总第806期第12期2023年6月图像去运动模糊仿真研究李素平许明坤亓信浩（巢湖学院电子工程学院，安徽巢湖238000）摘要：【目的目的】在多媒体时代，人们对拍照的要求越来越高。图像去模糊一直是一个具有挑战性的问题，有着很高的研究价值。【方法方法】阐述模糊图像中的运动模糊，使用约束最小二乘法和Richardson-Lucy 算法来去除运动模糊，采用峰值信噪比和平均结构相似度两类指标对去模糊图像质量进行分析。【结果结果】仿真结果表明：采用约束最小二乘法去除运动模糊的数据评价值均大于 Richardson-Lucy 算法，约束最小二乘法在复原运动模糊方面表现得更加稳定。但在模糊长度和模糊角度增大后，各类算法的性能均会受到不同程度的影响。【结论结论】去模糊算法有待继续研究，以提高去模糊后的图像质量。关键词：去运动模糊；约束最小二乘法；RL算法；峰值信噪比；结构相似度中图分类号：TP391文献标志码：A文章编号：1003-5168（2023）12-0024-06DOI：10.19968/ki.hnkj.1003-5168.2023.12.005Research on Image Motion Deblurring SimulationLI Suping XU Mingkun QI Xinhao(School of Electronic Engineering,Chaohu university,Chaohu 238000,China)Abstract:Purposes In the multimedia era,high-quality photos are becoming more and more importantto people.Image deblurring has always been a challenging problem and has high research value.Methods The motion blur in blurred images is described.The constrained least squares method andRichardson-Lucy algorithm are used to remove motion blur.The peak signal-to-noise ratio and averagestructural similarity are used to analyze the quality of deblurred images.Findings The simulation results show that the data evaluation value of the constrained least squares method is greater than that ofthe Richardson-Lucy algorithm,and the constrained least squares method is more stable in restoring motion blur.However,when the fuzzy length and fuzzy angle increase,the performance of various algorithms will be affected to varying degrees.Conclusions The deblurring algorithm needs to be furtherstudied to improve the image quality after deblurring.Keywords:image motion deblur;constraint least square algorithm;RL algorithm;peak signal-to-noiseratio;average structural similarity0引言曝光是通过接受自然光在感光材料上产生化学作用，最终形成潜影的过程。拍摄过程中物体发生相对变化，会导致进入的光线发生改变，最终使图像模糊。在相机曝光时，因物体发生相对运动而收稿日期：2023-01-06基金项目：安徽省教学示范课项目“通信原理”（2020SJJXSFK1737）；安徽省高校学科（专业）拔尖人才学术资助项目（gxbjZD36）；大学生创新创业训练项目“有雾场景下的车牌识别方法研究”（DCJX-S17227647）。作者简介：李素平（1982），女，硕士，副教授，研究方向：图像信号处理。第12期25产生的模糊被称为运动模糊。运动造成图像退化是非常普遍的现象，而众多应用领域都要用到高质量的清晰图像，对退化后的图像进行复原处理具有非常重要的现实意义。图像变模糊的本质是模糊核和清晰图像发生卷积，而图像复原是解卷积的过程，图像去模糊是将模糊图像变为清晰图像的过程。图像去模糊可分为盲去模糊和非盲去模糊。盲去模糊是指在模糊核未知的情况下对图像进行复原，非盲去模糊是指模糊核已知的情况下将模糊图像复原为清晰图像。在现实中，图片模糊核一般是未知的。图像盲复原算法的核心是确定参数，在找到最优参数后，便可估计模糊核。可用 Ayers等1提出的算法来确定参数，利用现有的图像信息，在时域和频域上进行FFT运算，运算时加入前提条件，满足计算要求后便停止运算。该算法计算方便，能有效减少噪声产生的影响，但算法性能不稳定；Jia2给出新的图像盲复原算法，对模糊核和模糊图像进行分段平滑处理，能有效克服先前的问题；Hu等3提出一种暗光照条件下的图像盲复原算法；You等4提出一种基于稀疏表示的图像盲复原算法。这两种算法在图像复原上都取得相对理想的效果。刘迪5对Hu等3提出的算法进行改进，得到更加准确的模糊核。图像非盲复原算法是不可或缺的，RL反卷积复原算法是一种比较便捷的非盲复原方法6-7，但RL算法会产生振铃伪影。马丽云8、赵阳9通过改进图像去运动模糊算法，找出产生振铃伪影的原因，使用残留去卷积法来降低伪影效应，但不能完全去除振铃伪影。尤其是在图像也拥有噪声时，会产生很大影响，导致去模糊效果无法令人满意。考虑到点扩散函数及噪声特性，提出一种具有约束的最小二乘法，在图像复原方面具有普适性。逆滤波复原法计算快捷、使用方便，但会产生振铃伪影，应用效果欠佳。李振翮等10对逆滤波算法进行改进，使用平滑处理法可有效减少振铃伪影，但噪声对其产生的影响很大，限制其应用范围。对明确噪声的图像，维纳滤波在图像复原处理上是较为优秀的11。杨艳美等12、李鑫垚13对维纳滤波进行改进，利用图像信息对图像振铃伪影和边界模糊进行优化，最终得到较为清晰的图像，但对峰值信噪比不高的图像，该方法的复原效果较差。通过对不同尺度的模糊核进行仿真研究，在不同散焦半径、模糊长度和模糊角度的条件下，对比不同算法的去模糊效果和可靠性。以结构相似度（Structural Similarity，SSIM）和峰值信噪比（PeakSignal-to-Noise Ratio，PSNR）为指标，对去模糊后的效果进行对比。通过对图像去模糊效果进行定性和定量比较，能实现对去模糊算法更加全面的评价。结构相似度的取值范围为01，其值越接近于1，说明图像的复原效果越好，复原后的图像与原始图像越接近。峰值信噪比的值越大，说明图像去模糊的效果越清晰，复原后的图像越接近原始图像。1图像去运动模糊算法1.1基于RL算法的图像去模糊RL算法是基于贝叶斯估计的迭代图像复原算法。该算法以最大似然准则为基础，通过假设模糊图像服从泊松分布，用贝叶斯分析来去除图像模糊。与其他去模糊方法相比，RL算法的鲁棒性更好，复原图像的效果更为理想。图像模糊过程见式（1）。g（x，y）=f（x，y）h（x，y）（1）式中：f（x，y）为清晰图像在坐标点（x，y）处的亮度，也被称为图像在该点的灰度值；g（x，y）为模糊图像在坐标点（x，y）处的亮度；h（x，y）为模糊核在坐标点（x，y）处的亮度。可将式（1）式改写为式（2）。g=fh。（2）式中：g 为模糊图像；f 为清晰图像；h 为模糊核。算法目标就是求解出f。根据贝叶斯公式和概率论定理可得式（3）。P（f|g）=P（g|f）P（f）/P（g）（3）当模糊图像g已知，清晰图像概率分布P（f|g）值最大时，图像估计值与原始图像最接近。由于g已知，则模糊图像概率值P（g）对应一个常数，该参量不考虑，式（3）简化后可得式（4）。max P（f）=max P（g|f）P（f）（4）式中：P（f）为原始清晰图像的概率值。利用最大似然估计和迭代算法可得式（5）。fn+1（x，y）=（g/（fnh）h*（x，y）fn（x，y）（5）随着迭代次数 n的增加，复原图像 fn（x，y）不断接近于原始清晰图f（x，y）。其中，h*为h的复共轭，h*（x，y）=h（-x，-y）。在对模糊图像去模糊时，每个像素要借助相邻像素信息才能恢复，模糊图像的边缘像素缺少相邻像素信息，导致恢复后的图像边缘退化，出现明暗相间的条纹。李素平，等.图像去运动模糊仿真研究26第12期1.2基于约束最小二乘法的图像去模糊用约束最小二乘法来消除运动模糊。在多个可能存在的结果中加入约束条件，选择出最理想的结果。使用约束最小二乘法时要考虑噪声特性、与图像关系及图像点扩散函数。通常会根据噪声特性的不同来选择不同限定条件，从而获取约束最小二乘算法，见式（6）。g=Hf+n（6）f和估计量f?差值见式（7）。W（f?）=Qf?2+（g-Hf?2-n2）（7）式中：为常数，即拉格朗日因数；Q 为矩阵。可变换不同的Q来达到不同复原效果。令W（f?）对f?的导数为零，可得式（8）。W（f?）f?=2QTQf?-2HT（g-H f?）=0（8）式中：HT是H的转置矩阵。求解得式（9）。f?=（HTH+QTQ）-1HTg（9）式中：为参数。如果把f和n当作随机变量，Q为噪声与信号的比，见式（10）。Q=Rn/Rf（10）式中：Rn、R分别为信号和噪声的协方差矩阵，运用矩阵傅里叶变换可得式（11）。Wc（u,v）=H*（u,v）|H（u,v）2+Rn（u,v）/Rf（u,v）（11）当=1时，就是最小化的维纳滤波器。2实例仿真模糊角度是指图像进行模糊运动的方向，即运动模糊方向与水平方向的夹角。模糊长度是指像素点在模糊运动中移动的相对长度。根据曾志高等 14 提出的运动模糊数学理论，对模糊长度L（Pixel）分别为5 Pixel、10 Pixel、20 Pixel、100 Pixel和模糊角度 Ang（）分别为10、15、30、100的运动模糊核，使用RL算法对图像进行去运动模糊仿真。用约束最小二乘法来复原运动模糊图像，模糊长度与模糊角度分别与之对应，对比分析不同条件下去运动模糊的仿真效果。通常情况下，使用定性和定量分析法来对比分析图像去模糊效果。首先，通过直接观察图像法进行对比分析。其次，对去模糊的两种指标数据进行比较。最后，对试验结果进行分析。原始图像如图1所示，不同模糊长度、不同模糊角度下的模糊图像如图2所示，使用本研究提出的约束最小二乘法复原的图像如图3所示，使用文献 14 提出的方法复原的图像如图4所示。由图可知，在同等模糊长度和角度的条件下，用约束最小二乘法去除运动模糊后得到的图像比RL算法去除运动模糊后得到的图像要明显清晰。这是因为RL算法处理的运动模糊图像存在振铃伪影，使图像信息被掩埋，最终导致图像复原效果下降，使用约束最小二乘法处理后的运动模糊图像更容易识别。从不同模糊长度和不同模糊角度来看，无论是哪种算法，只要模糊长度和角度增大，复原效果就会变差。这是因为模糊核变大，导致图像中的有用信息变少，使图像恢复变得更加困难。本研究使用的两类指标参数对比说明见表1，去运动模糊数据评价见表2。由表2可知，不同模糊长度和模糊角度具有不同结构的相似比和峰值信噪比。在相同模糊长度和模糊角度下，不同算法的峰值信噪比和结构相似度也是不同的。由表2中的两组数据可知，不管在哪种模糊情况下，约束最小二乘法的数据评价值均大于RL算法。约束最小二乘法的峰值信噪比和结构相似性的下降趋势略微缓慢。这说明约束最小二乘法在复原运动模糊上更稳定。不管哪种算法，当模糊长度和模糊角度增大后，其峰值信噪比和结构相似性均会下降。综上所述，使用约束最小二乘法复原的运动模糊图像要优于使用RL算法复原的图像。由此可知，约束最小二乘法在去除运动模糊方面的可靠性更高，或更具有普遍性和实用性。暗光照条件下去运动模糊效果如图5所示，从图中可以看出，约束最小二乘法和RL算法在恢复暗光照条件下的运动模糊图像具有同样的效果。李素平，等.图像去运动模糊仿真研究图1原始图像第12期27李素平，等.图像去运动模糊仿真研究图2不同模糊长度和模糊角度下的模糊图像图3本研究提出的方法去模糊效果（a）L=5 Pixel、Ang=10（b）L=10 Pixel、Ang=15（c）L=20 Pixel、Ang=30（d）L=100 Pixel、Ang=100（a）L=5 Pixel、Ang=10（b）L=10 Pixel、Ang=15（c）L=20 Pixel、Ang=30（d）L=100 Pixel、Ang=10028第12期李素平，等.图像去运动模糊仿真研究图4文献 14 提出的方法去模糊效果对比指标PSNRSSIM计算原理PSNR=10log1025521MNi=1Mj=1NR（i，j）-F（i，j）2式中：R（i，j）为处理前图像的灰度值；F（i，j）为处理后图像的灰度值。SSIM=l（x，y）c（x，y）s（x，y）式中：l(x，y)为亮度比较函数；c(x，y)为对比度比较函数；s(x，y)为结构比较函数。含义表示图像相对于原图的失真程度，数值越大失真越小，图像处理后的质量越好表示两幅图像的相似程度，从亮度、对比度和结构对比度三个方面进行对比，结果越接近于 1，表示图像越相似描述峰值信噪比PSNR是由均方误差推导而来，表示最大像素强度与失真功率的比值，与MSE相似，容易计算，但可能与感知质量不符结构相似度（SSIM）指数，SSIM指标将局部图像结构、亮度和对比度组合成一个单一的局部质量评分。在这个度量中，结构是像素强度的模式，特别是相邻像素之间，经过亮度和对比度归一化。由于人类视觉系统善于感知结构，故SSIM质量度量更符合主观质量分数表1指标参数对比L/Pixel51020100Ang/（）101530100RL算法去模糊数据PSNR28.637 323.965 018.102 313.896 5ASS0.798 30.684 30.543 30.476 5约束最小二乘去模糊数据PSNR30.886 127.583 422.260 919.223 1ASS0.875 50.774 20.706 40.656 3表2去运动模糊数据评价横向是暗光照条件下的清晰图、模糊图和复原图，纵向是暗光照条件下不同图像的原始图像、模糊图像和复原图像。其中，复原图像B1列是使用约束最小二乘法来复原的，复原图像B2列是使用RL算法来复原的。结果表明，约束最小二乘法和RL算法可用于暗光照条件下去除运动模糊，且约束最小二乘法的复原效果要优于RL算法，这说明约束最小二乘法（a）L=5 Pixel、Ang=10（b）L=10 Pixel、Ang=15（c）L=20 Pixel、Ang=30（d）L=100 Pixel、Ang=100第12期29李素平，等.图像去运动模糊仿真研究具有实用性和普遍性。3结语本研究通过分析暗光照模糊图像的模糊成因和类型，分析模糊图像的模糊核估计，选取两种具有代表性的去模糊评价方法，使用Matlab进行仿真研究，对峰值信号比和结构相似比进行分析。尽管图像去模糊技术越来越成熟，但还有很多问题没有解决，如实际生活中模糊核都是未知的，如何准确获取图像的模糊核。若能有效解决图像中振铃伪影现象和噪声的影响，那么RL算法会得到很大提升。若能将算法的优点集中于一种新算法上，不断提高复原的速度和效率，那么图像处理技术将会得到质的提升。参考文献：1 AYERS G R，DAINTY J C.Iterative blind deconvolutionmethodanditsapplications J.Opticsletters，1988（7）：547.2 JIA J Y.Single image motion de-blurring using transparency C/Processing of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway.NJ United States:Inst of Ele Eng.Computer Society，2007：1-8.3HU Z，SUNGHYUN C，WANG J，et al.Deblurringlow-light images with light streaks J.IEEE Transactions onPattern Analysis and Machine Intelligence，2017（10）：2329-2341.4YOU Y L，KAVEH M.Blind image restoration byanisotropic regularizationC/IEEE Transactions on ImageProcessing，1999（8）：396-407.5 刘迪.面向夜晚图像的去模糊算法研究 D.保定：华北电力大学，2021.6 RICHARDSONW H.Bayesian-based iterative methodof image restorationJ.Journal of the Optical Society ofAmerica，1972（1）：55-59.7 LUCY L B.An iterative technique for the rectificationof observed distributions J.Astron J，1974，79：745.8 马丽云.运动模糊图像复原方法及优化 D.临汾：山西师范大学，2020.9 赵阳.运动图像去模糊技术研究 D.西安：西安电子科技大学，2014.10 李振翮，武友新.具有显著异常值的夜间模糊图像非盲去模糊 J.南昌大学学报（工科版），2020（3）：300-306.11 陈亮.基于局部最大梯度的单幅图像去模糊方法研究 D.上海：华东师范大学，2020.12 杨艳美，高满屯，贺剑.维纳滤波图像复原技术的研究与改进 J.科学技术与工程，2012（29）：7611-7615.13 李鑫垚.基于显著分量提取的图像盲解卷积算法研究 D.保定：华北电力大学，2021.14 曾志高，谭骏珊.匀速直线运动模糊图像的恢复技术研究 J.陕西理工学院学报（自然科学版），2006（2）：36-38.图5暗光照条件下去运动模糊效果（a）原始图像（b）模糊图像（c）复原图像B1（d）复原图像B2