一种针对图像模糊的无参考质量评价指标.pdf

收稿日期:2009-08-27;修回日期:2009-11-17。作者简介:谢小甫(1982-),男,四川成都人,博士研究生,主要研究方向:图像质量评价、光电成像系统控制;周进(1975-),男,重庆人,副研究员,博士,主要研究方向:图像处理、目标检测和跟踪;吴钦章(1955-),男,山东新泰人,研究员,博士生导师,主要研究方向:光电跟踪测量、计算机控制。文章编号:1001-9081(2010)04-0921-04一种针对图像模糊的无参考质量评价指标谢小甫1,2,周 进1,吴钦章1(1.中国科学院 光电技术研究所,成都610209;2.中国科学院研究生院,北京100049)()摘 要:在成像模型的基础上,分析了图像模糊的原因,提出了一种为图像构造参考图像的方法,进而将结构相似度(SSI M)评价方法引入到无参考图像质量评价中,提出一种无参考结构清晰度(NRSS)的新的无参考图像质量评价方法,将其用于对模糊图像的质量评价。该方法通过低通滤波器来构造参考图像,通过计算原始图像与参考图像的结构相似度值来评价原始图像质量,很好地结合了成像系统的数学模型和结构相似度评价方法的优势,实验结果表明无参考结构清晰度评价指标能够给出和主观评价方法以及其余有参考评价方法一致的结果。关键词:图像质量评价;成像模型;结构相似度;无参考结构清晰度;梯度能量函数中图分类号:TP391.41 文献标志码:ANo2reference quality index for i mage blurXIE Xiao2fu1,2,ZHOU Jin1,WU Qin2zhang1(1.Institute of Optics and Electronics,Chinese Academy of Sciences,Chengdu Sichuan610209,China;2.Graduate University of Chinese Academy of Sciences,Beijing100049,China)Abstract:W ith the analysisof image blur based on the i magingmodel,amethodwas proposed for constructing referencei mages,and at the same time the Structural Si milarity(SSI M)index was introduced into no2reference image qualityassessment.A novel no2reference image quality assess ment index called No2Reference Structural Sharpness(NRSS)was thenproposed for quality evaluation of blurred images.Thismethod constructed a reference image by a low2pass filter,and assessedthe image quality by computing the SSI M between the original image and the reference one,thus considering the mathematicalmodel of imaging system as well as the advantages of SSI M.The experimental results show that the new index is well inaccordance with quality assess ment results of both subjective evaluation and full2reference methods.Key words:I mage QualityAssess ment(I QA);imaging model;Structural Similarity(SSI M);No2Reference StructuralSharpness(NRSS);energy function of gradient0 引言由于人是图像的最终宿主,主观图像质量评价能够给出最正确的质量评价结果。但是主观质量评价方法不便于操作、耗时而且昂贵1,因此客观图像质量评价方法的研究显得越来越重要。客观图像质量评价方法可以分为三类:全参考、部分参考和无参考。前两类方法需要原始图像或者原始图像某些特征的集合作为参考来与失真图像比较,但是在很多应用场合,原始图像是无法获取的,所以研究无参考的图像质量评价方法至关重要。近年来,客观图像质量评价方法的研究取得很多进展。均方误差(Mean Square Error,MSE)和峰值信噪比(PeakSignal to Noise Ratio,PSNR)由于其计算简单,物理意义清晰等优点成为应用最广泛的客观图像质量评价指标。文献1中指出,由于像MSE和PSNR这类基于点误差累积的方法没有充分考虑人眼视觉特性,所以与人的主观判断结果差异较大。针对 以上分析,文 献 1 中提出 基 于结 构 相似 度(Structural Similarity,SSI M)的图像质量评价方法,并通过大量实验数据表明,该方法与主观评价方法相关性很高。随着对SSI M研究的深入,基于SSI M的图像质量评价体系出现了很多改进方法,例如GSSI M2和MDESSI M3等,使得SSI M方法成为主观图像质量评价方法中一个重要的研究领域。此外文献4中提出用奇异值分解的方法来进行图像质量评价,而文献5中提出通过方向投影(Directional Projection,DP)来评价图像质量,实验结果表明这些方法都是可行的,但这些全部都是全参考或者是部分参考的方法。由于没有任何关于原始图像的信息可以利用,故构造无参考的图像质量评价方法比另外两类方法要难得多,而且无参考的图像质量评价方法只能针对某一种具体的失真类型来进行。近年来无参考的图像质量评价方法研究也取得了较多的成果,但是这些方法彼此相互独立,还没有形成一个完善的研究体系。而且,目前无参考的图像质量评价方法都存在下面几个缺点中的某一个或几个:1)需要进行某种变换,如快速傅里叶变换(Fast FourierTransform,FFT),离散小波变换(Discrete Wavelet Transform,DWT)等,增加算法的时间复杂度6-7;2)需要进行训练,而很多时候训练样本的覆盖程度决定第30卷第4期2010年4月计算机应用Journal of ComputerApplicationsVol.30 No.4Apr.2010了算法的性能7-8,10-11;3)算法输出结果范围没有限制,即结果不是有界的9,12。本文作者充分研究以上算法,并结合成像系统的数学模型,提出一种无参考结构清晰度(No2Reference StructuralSharpness,NRSS)的针对图像模糊的无参考图像质量评价方法。实验结果表明,对于模糊图像,该算法在无参考图像的情况下可以取得优于有参考图像的SSI M方法的结果,且计算简单,克服了以上提到的三个缺点。1 图像模糊的原因在成像系统中,成像面上获得的图像可以认为是原始图像场景与成像系统的点扩散函数的卷积,其数学表达式如下:I(x,y)=I0(x,y)3h(x,y)(1)已经证明,在非相干成像条件下对于一般圆形孔径的成像系统,若不考虑像差的影响,点扩散函数13为:h(x,y)=(2J1(z1)z1)2(2)其中J1(x)是第一类型的一阶贝塞尔函数,z1=Dfr,D为物镜入瞳直径,f为物镜焦距,为窄带非相干光源的中心波长,r是距平面光轴的径向距离:r=x2+y2。由于贝塞尔函数比较复杂,同时综合考虑像差等因素的影响,有学者提出了圆盘模型和高斯模型13,其中高斯模型在实际应用中取得了较好的效果:h(x,y)=12a2exp(-x2+y22a2)(3)其中a为点扩散函数分布的标准偏差的扩散参量,它与模糊圆半径成正比:a=CR。高斯模型的傅里叶变换即为系统的光学传递函数,数学表达式为:H(w,v)=exp(-122a2)(4)其中,=w2+v2。由此可见,光学成像系统相当于一个低通滤波器,且其截止频率与系统的离焦程度(图像的模糊程度)相关,即:系统离焦量越大,则截止频率越低,图像越模糊。以上仅仅是对成像系统离焦模糊的原因进行了分析,在可能引起图像模糊的其他应用中,例如图像压缩、图像平滑滤波等,图像的模糊也都是因为高频分量的丢失造成边缘或者细节不清晰。综上所述,清晰图像比被模糊的图像有更丰富的细节信息,即高频分量,所以可以通过衡量图像包含高频信息的多少来评价图像的清晰程度。2 结构相似度人眼视觉系统(Human Visual System,HVS)的研究结果表明,观察者更关注视野中目标的结构信息,观察者对一幅图像清晰度好坏的判断多取决于对图像中轮廓和边缘的判断。基于以上的考虑,文献1提出了SSI M的全参考图像质量评价方法。对于图像块x和y,SSI M包含三个部分:亮度比较、对比度比较和结构信息比较,分别定义如下:l(x,y)=2xy+C12x+2y+C1(5)c(x,y)=2xy+C22x+2y+C2(6)s(x,y)=xy+C3xy+C3(7)SS I M(x,y)=l(x,y)c(x,y)s(x,y)(8)文献1的方法是对原始图像和待评价图像进行分块,计算所有对应块的结构相似度,最后全图的结构相似度定义为:MSS I M=1NNi=1SS I M(xi,yi)(9)文献2,16中指出,SSI M虽然取得了与主观评价比较一致的评价结果,但是这种方法对于高斯模糊图像的评价不够理想。针对SSI M存在的问题,提出了基于梯度信息的结构相似度,定义如下:GSS I M(x,y)=l(x,y)cg(x,y)sg(x,y)(10)其中:Cg(x,y)和Sg(x,y)指x和y的梯度图像的对比度比较和结构信息比较。由于GSSI M方法先对图像进行梯度信息提取,更接近人眼视觉特性,故对模糊图像的评价取得了比SSI M更优的结果。3 模糊图像的无参考质量评价方法前文已经指出,清晰的图像比模糊图像含有更丰富的细节信息,即高频分量,故可以通过衡量图像包含高频信息的多少来评价图像清晰度。在当前的大多数自动调焦系统中,也都是通过计算图像高频分量的多少(例如梯度平方和、能量熵函数)来进行调焦判断。但是调焦函数的输出范围是无界的,不能用于评价图像清晰度。结合光学系统成像模型,我们提出了一种评价高频分量多少的方法 NRSS:对原始图像(由于没有参考图像,原始图像本身即为待评价图像)进行低通滤波得到一幅参考图像,计算参考图像与待评价图像的结构相似度。显然,清晰图像由于包含大量高频信息,故经过低通滤波器之后损失成分多,得到的结构相似度就小,模糊图像刚好相反。这种方法很好地结合了成像系统的数学模型和SSI M评价方法的优点,实验证明该方法评价结果符合人类主观评价结果。NRSS的具体运算步骤如下。1)为待评价图像构造参考图像。定义待评价图像为I,则参考图像Ir定义如下:Ir=LPF(I)。实验表明,基于圆盘模型的均值滤波器和高斯模型的平滑滤波器都可以取得较好的效果,为了更好地与成像系统匹配,建议采用77大小且2=6的高斯平滑滤波器。在需要实时处理的工程应用中77均值滤波器并不会使评价效果下降很大。2)提取图像I和Ir的梯度信息。由于人类判断判断图像是否清晰的标准主要来自于图像的边缘和轮廓,所以可以通过提取图像梯度信息来提取图像的边缘信息。梯度信息的提229计算机应用第30卷取采用Sobel算子,该模板分别提取水平和竖直方向的边缘信息,也刚好符合人眼关注这两个方向轮廓信息的特性。定义I和Ir的梯度图像分别为G和Gr。3)找出梯度图像G中梯度信息最丰富的N个图像块。将图像G划分为88的小块,块间的步长为4,即相邻块有50%重叠,这是为了避免丢失重要边缘。计算每块的方差,方差越大说明梯度信息越丰富,找出其中方差最大的N块,记为 xi,i=1,2,3,N,对应的Gr中的对应块定义为 yi,i=1,2,3,N。N值的大小直接影响评价结果,同时也影响算法运行的时间。一般情况下,可以估计图像主要边缘占的比例,考虑到嵌入式系统的特点,一般N=2m(m为68的整数),在后面的实验中设N=64。4)计算原始图像的无参考结构清晰度NRSS。先计算每个xi与yi的结构相似度SS I M(xi,yi),其中SSI M计算方法请参见式(9)及文献1,则图像的无参考结构清晰度定义为:NRSS=1-1NNi=1SS I M(xi,yi)(11)以上提出的方法与SSI M方法基本一致,增加的步骤是低通滤波、梯度计算和提取梯度信息丰富的N块,使算法计算时间有所增加。但是,由于图像分块时采用了4像素步长而不是逐像素移动窗口,同时由于只需要计算N块子图的结构相似度,又使计算时间大为缩短。总的来说,计算时间与SSI M方法相差不大。但是值得提出的是,SSI M方法需要参考图像,而NRSS指标不需要参考图像。如前所述,无参考的图像质量评价本身就比有参考的方法要复杂得多,很明显,NRSS指标克服了引言中提到的当前各种无参考图像质量评价方法的三个缺点。4 实验结果为了验证提出的NRSS评价指标的有效性,通过两个实验来证明。其中,实验一比较了新方法与调焦评价函数梯度能量函数的结果,证明了该方法可以在序列离焦图像中找出离焦量最小的一幅。实验二通过对德州大学图像和视频工程实验室的图像质量评价数据库14中图像的实验结果,比较了NRSS与PSNR,SSI M和GSSI M的性能差异。在以下两个实验中,参数C1,C2,C3和,与文献1一样。此外,低通滤波器选用77大小且2=6的高斯平滑滤波器,N=64。4.1NRSS与梯度能量函数的比较在基于图像处理的自动调焦系统中,得到广泛运用的调焦评价函数是梯度能量函数13,该函数的定义为:M=xy(g2h(x,y)+g2v(x,y)(12)其 中:gh(x,y)=I(x+1,y)-I(x,y),gv(x,y)=I(x,y+1)-I(x,y)。我们用可调焦的相机连续拍摄了37幅图片,在拍摄过程中连续调节镜头的调焦组,使获得的图像从离焦到聚焦,再到离焦。计算这37幅图像的NRSS值和梯度能量函数值,得到的结果如图1所示。从图1可以看出,两条曲线具有相同的“形状”,且峰值点在相同的位置,由此可以得出结论:NRSS可以与梯度能量函数得到相同的结果,即NRSS值会随图像清晰度的变化而单调变化。因此,可以用NRSS指标进行图像质量的监视或者系统成像质量的评价等。而且,相比而言,由于NRSS指标输出结果的有界性,对不同场景的不同质量图像可以进行比较,而梯度能量函数的输出值不仅依赖于图像清晰程度,也依赖于场景中的纹理信息,纹理丰富的图像梯度能量函数的计算结果更大。图1 对37帧图像的质量评价结果比较4.2NRSS与PSNR,SSI M和GSSI M的比较在本实验中,我们采用了美国德州大学图像与视频工程实验室的图像质量评价数据库14,该图像库包含了各类失真图像共779幅以及各失真图像的原始图像共29幅。同时该图像库还给出了每幅失真图像的DMOS分值(DifferenceMeanOpinion Scores)。由于NRSS指标是针对图像模糊提出的,所以仅仅选择了其中的gblur子文件夹下的一共145幅高斯模糊图像进行实验。由于以前的无参考图像质量评价方法都存在一些缺陷,故不选择无参考评价方法来作对比。选择三种全参考图像质量评价方法来比较实验结果,分别是峰值信噪比(PSNR)、结构相似度(SSI M)1和基于梯度信息的结构相似度(GSSI M)16。四种方法评价结果与DMOS之间的散点如图2所示。从图2可以看出,NRSS所有与DMOS的吻合程度优于PSNR和SSI M,略差于GSSI M。为了比较评价几种算法的性能,采用了国际视频质量专家组15提供的方法:先用非线性回归的方法将各种方法评价的结果值VQR变换成DMOSp值,然后比较DMOSp值和DMOS之间的几个参数。其中,非线性回归函数为:DMOSp=b11+exp(-b2(VQR-b3)(13)具体的非线性拟合方法见文献 15。选择了DMOS与DMOSp的三个指标来评价结果:非线性回归后的相关系数(CC)、绝对误差均值(MAE)和均方差平方根(RMS)。几组评价指标的计算结果如表1所示。表1 不同评价方法性能比较MODELCCMAERMSPSNR0.63749.658212.1146SSI M0.87395.75477.6417GSSI M0.91814.52476.23165NRSS0.92284.74186.0563从表1的结果可以看出,NRSS的所有指标都优于PSNR和SSI M和GSSI M,仅仅MAE一项略差于GSSI M。但是需要329第4期谢小甫等:一种针对图像模糊的无参考质量评价指标提出的是NRSS方法是一种无参考图像的方法,以上的评价结果是在没有利用任何参考图像信息,也没有进行任何模型参数训练的条件下获得的,而其他三种都为全参考的图像质量评价方法。图2 高斯模糊图像评价结果的散点图5 结语本文提出了一种新的针对图像模糊的无参考图像质量评价指标 无参考结构清晰度(NRSS)。NRSS指标通过低通滤波器为待评估图像构造参考图像,进而通过评价参考图像与待评估图像的结构相似度来评价图像的清晰质量。该方法很好地结合了成像系统的数学模型,利用了SSI M的优势,实验结果表明该方法可以给出优于SSI M等需要参考图像的方法的结果,是一种准确可靠的无参考图像清晰度评价方法。但是,本方法仅仅对由于离焦等原因造成的图像模糊评价有效,这是算法本身的原理造成的。如何能够将这种构造无参考图像质量评价方法的体系推广用于评价其他失真图像将是下一步研究的重点。参考文献:1 WANG Z,BOVIKA C,SHEIKH H R,et al.I mage quality assess2ment:From error visibility to structural similarityJ.IEEE Trans2actions on I mage Processing,2004,13(4):600-612.2 CHEN G,YANG C,XIE S.Gradient2based structural similarity forimage quality assessmentC/Proceedings of IEEE InternationalConference on I mage Processing.Piscataway:IEEE Press,2006:2929-2932.3 CHEN Y,L I AO B.An image quality assess ment algorithm based ondual2scale edge structure similarityC/Proceedings of the SecondInternational Conference on Innovative Computing,Information andControl.Piscataway:IEEE Press,2007:56-58.4 SHNAYDERMAN A,GUSEV A,ESKI CI OGLU A M.An SVD2based grayscale image quality measure for local and global assess2mentJ.IEEE Transactions on I mage Processing,2006,15(2):422-429.5 PANG J,ZHANG R,ZHANG H,et al.I mage quality assessmentmetrics by using directional projectionJ.Chinese Optics Letters,2008,6(7):491-494.6N I LL N B,BOUZASB H.Objective image qualitymeasure derivedfrom digital image power spectraJ.Optical Engineering,1992,31(4):813-825.7 LUO H.A training2based no2reference image quality assessment al2gorithmC/Proceedings of IEEE International Conference on I m2age Processing.Piscataway:IEEE Press,2004:2973-2976.8 SHEIKH H R,BOVIK A C,CORMACK L.Blind quality assess2ment of JPEG2000 compressed images using natural scene statisticsC/Proceedings of the Thirty2Seventh Asilomar Conference onSignals,Systems and Computers.Piscataway:IEEE Press,2003:1403-1407.9 L I X.Blind image quality assess mentC/Proceedings of IEEEInternational Conference on I mage Processing.Piscataway:IEEEPress,2002:449-452.10 ONG E P,L I N W,LU Z,et al.No2reference JPEG22000 imagequalitymetricC/Proceedings of IEEE International Conferenceon Multimedia and Expo.Piscataway:IEEE Press,2003:545-548.11 GASTALDO P,ZUN I NO R.No2reference quality assess ment ofJPEG images by using CBP neural networksC/Proceedings ofthe IEEE International Symposium on Circuits and Systems.Piscat2away:IEEE Press,2004:772-775.12 MARZI LI ANO P,DUFAUX F,W I NKLER S,et al.A no2referenceperceptual blurmetricC/Proceedings of IEEE International Con2ference on I mage Processing.Piscataway:IEEE Press,2002:57-60.13 SUBBARAO M.Focusing techniques J.Optical Engineering,1993,32(11):2824-2836.14 SHEIKH H R,BOV IK A C,CORMACK L,et al.L I VE I mageQuality Assess ment Database Release 2 DB/OL.2008-11-25.http:/live.ece.utexas.edu.15 VQEG.Final report from the video quality experts group on the vali2dation ofobjectivemodelsof video quality assess ment,phase IIEB/OL.2008-11-25.http:/www.vqeg.org.16杨春玲,陈冠豪,谢胜利.基于梯度信息的图像质量评判方法的研究J.电子学报,2007,35(7):1313-1317.429计算机应用第30卷