基于雾密度感知增强的去雾图像质量评价方法_朱钦权.pdf

第 49卷 第 6期2023年 6月Computer Engineering 计算机工程基于雾密度感知增强的去雾图像质量评价方法朱钦权1，2，王同罕1，2，贾惠珍1，2（1.东华理工大学 信息工程学院，南昌 330013；2.东华理工大学 江西省放射性地学大数据技术工程实验室，南昌 330013）摘要：去雾图像质量评价方法在图像去雾算法研究中发挥着重要作用，目前去雾质量评价方法存在雾密度感知能力不足的问题。提出一种基于雾密度感知增强的去雾图像质量评价（FDP-DIQA）方法，针对自然雾图的成像特点，从对比度信息及色彩信息 2个方面提取 6个特征，并结合以往的图像去雾研究结果提取 3个特征，构成完整的去雾感知特征，增强对雾密度的感知能力。随后，结合雾图与去雾图像之间全局和低对比度区域的结构特征及块效应特征，对经平均池化形成的 22 维特征采用 LightGBM 进行模型构建，实现去雾图像质量评价。实验结果表明，FDP-DIQA 方法在合成雾图数据集和自然雾图数据集上的表现优异，其加权平均后的斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为 0.962 3、0.958 3、2.098 1，大幅领先于同类方法，与人类主观评价有较高的一致性。关键词：去雾图像质量评价；图像对比度；色彩信息；LightGBM 模型；图像去雾开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（6）：208-216，226.英文引用格式：ZHU Q Q，WANG T H，JIA H Z.Dehazed image quality assessment method based on fog density perception enhancement J.Computer Engineering，2023，49（6）：208-216，226.Dehazed Image Quality Assessment Method Based on Fog Density Perception EnhancementZHU Qinquan1，2，WANG Tonghan1，2，JIA Huizhen1，2（1.School of Information Engineering，East China University of Technology，Nanchang 330013，China；2.Jiangxi Engineering Laboratory on Radioactive Geoscience and Big Data Technology，East China University of Technology，Nanchang 330013，China）【Abstract】The Dehazed Image Quality Assessment（DIQA）method plays an important role in research on the image dehazing algorithm.At present，the dehazing quality assessment method has the problem of insufficient fog density perceived ability.In this regard，a new DIQA method called FDP-DIQA is proposed.According to the imagery characteristics of natural fog images，six features are extracted from the two aspects of contrast information and color information，and three features are extracted from the previous image dehazing research results to form a complete dehazing perception feature and enhance the perceived ability of fog density.Then，combined with the structural features and block effect features of the global and low-contrast regions between the fog map and defogged image，LightGBM is used for model construction of the 22-dimensional features formed by average pooling to realize quality evaluation of the defogged image.Experimental results show that the FDP-DIQA method performs well on both synthetic and natural fog map datasets，and its weighted average Spearmans Rank Correlation Coefficient（SRCC），Pearson Linear Correlation Coefficient（PLCC），and Root Mean Square Error（RMSE）are 0.962 3，0.958 3，and 2.098 1，respectively，which is a significant improvement over existing similar methods and has a high consistency with human subjective evaluation.【Key words】Dehazed Image Quality Assessment（DIQA）；image contrast；color-aware features；LightGBM model；image dehazingDOI：10.19678/j.issn.1000-3428.0066460基金项目：国家自然科学基金（62261001、62266001）；江西省教育厅科学技术研究项目（GJJ200746）；东华理工大学江西省放射性地学大数据技术工程实验室开放基金（JELRGBDT202001）。作者简介：朱钦权（1999），男，硕士研究生，主研方向为图像处理、模式识别；王同罕（通信作者），讲师、博士；贾惠珍，副教授、博士。收稿日期：2022-12-08 修回日期：2023-03-31 Email：图形图像处理文章编号：1000-3428（2023）06-0208-09 文献标志码：A 中图分类号：TP391.41第 49卷 第 6期朱钦权，王同罕，贾惠珍：基于雾密度感知增强的去雾图像质量评价方法0概述 雾作为一种气候现象，在自然界中广泛存在。在日常工作生活中，由于雾的存在，图像采集设备捕获的图像清晰度和对比度大幅下降，细节大量丢失，极大影响人们获取真实图像信息1，给室内或室外的监控、导航、识别、遥感等计算机视觉任务带来巨大挑战。为实现对自然雾图的增强和复原，图像去雾问题成为热门研究方向之一。去 雾 图 像 质 量 评 价（Dehazed Image Quality Assessment，DIQA）是一种专门针对图像去雾任务中去雾图像的质量评价方法。目前，图像去雾研究中对去雾效果的评价普遍依赖于主观视觉评价，在客观评价方面主要采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）2-3和 结 构 相 似 性（Structural Similarity，SSIM）4-5对去雾图像进行评价。这两种评价指标不能充分反映图像去雾的实际效果，且需要提供对应的清晰无失真参考图像来实现图像质量的评价，这在真实的自然场景中是不切实际的。面对去雾图像质量评价中清晰参考图难以获取的问题，研究人员从不同角度提出解决方案。一部分研究人员提出不依赖于清晰参考图的图像质量评价算法以解决在评价过程中对清晰参考图的依赖。例如：HAUTIRE 等6提出可见边缘的梯度比值衡量图像去雾效果；CHOI等7采用自然特征统计的方法实现对雾密度的感知；JIANG 等8在雾密度感知特征的灵敏度分析基础上提出一种基于光学深度代理模型的雾密度估计方法。以上方法主要侧重于去雾效果的评价或雾密度的感知，而忽略了对去雾图像整体质量的评价。GUAN 等9则提出基于复轮廓波变换的去雾图像质量评价方法（VDA-DHA），利用复轮廓波变换提取去雾图像的相关特征，并结合支持向量回归（Support Vactor Regression，SVR）得到质量分数。VDA-DHA 的实验效果较佳，然而该方法提取了大量特征来度量图像的失真情况，这意味着需要付出更多的时间代价。另一部分研究人员通过构建真实雾场景的数据集解决现有相关数据的缺失问题，并在此基础上提出针对性的评价方法解决PSNR 和 SSIM 对雾场景表达不足的困境。ZHAO等10发布了 BeDDE 和 exBeDDE 2 个自然雾图数据集，在评价方法方面通过计算失真图与清晰参考图之间梯度及透射率的相似性，并加权形成可见性指标（Visibility Index，VI）来评价图像的清晰度，采用类似手段，根据 LMN 颜色空间11以及相位一致性（Phase Congruency，PC）12计 算 得 到 真 实 性 指 标（Realness Index，RI），以评价图像的真实度。LIU等13发布了一个自然雾图数据集 MRFID，在评价方法方面提取了 4 种特征对图像清晰度、色彩信息及雾密度进行表达，并参考清晰图的信息形成质量分数。这两种方法在实验方面取得了不错的效果，但因缺少清晰的参考图像，依旧难以用于实际生活中。对此，MIN等14利用雾图与去雾图像的结构相关性，结合去雾特征及过度增强特征来描述图像的去雾效果，并提出基于去雾图像特征学习的质量评价方法（DHQI），该方法在运行时间及评价方面均表现优异，但去雾特征与其他方面特征相比存在明显不足。上述研究在雾图质量评价方面取得了一定进展，但评价性能方面还有待提升，且存在对雾密度感知能力有限的问题。本文从多个角度出发，重新筛选雾密度感知特征，设计两种新的特征并引入图像去雾先验特征，提高模型对雾密度的感知能力，提出基于雾密度感知增强的去雾图像质量评价（FDP-DIQA）方法。该方法借鉴了 DHQI 方法的设计思路，无须依赖清晰参考图进行图像质量的评价，能从多方面提取特征，大幅增强对雾密度的感知能力。具体通过计算去雾图像的对比度信息、色彩信息及图像去雾先验特征 3个方面的特征，感知去雾图像中的雾密度，并针对对比度信息与色彩信息，计算去雾图像的对应特征与雾图的对应特征之间的特征相似度，感知图像的结构失真程度。此外，重点提取低对比区域的相似度信息以感知图像因过度增强导致的损失，并计算去雾图像的块效应感知特征，在将所有特征图进行平均池化后，通过 LightGBM15模型建立特征向量到人类主观评价分数的映射，构建去雾图像质量的评价模型。1特征提取 有效的特征提取对于去雾图像质量评价的研究至关重要，是决定评价方法是否有效的关键。对于图像去雾，除了需要尽可能去除图像中存在的雾之外，还要保护图像结构，避免过度增强带来的副作用以及块效应带来的影响14。本文从多角度提取特征，并在此基础上构建图像质量评价模型。1.1去雾感知特征的提取雾对于图像的影响主要表现在对比度降低导致的图像细节丢失，以及由大气光照引起的色彩失真。根据该特点，本文提取了对比度信息、色彩信息和图像去雾的先验特征 3个方面的 9种特征，实现对自然雾图的雾密度感知。1.1.1对比度信息图像对比度表示图像从黑到白的渐变层次，反映图像颜色及细节的丰富程度16-17。此前 JIANG等8把均方根（Root Mean Square，RMS）作为特征输2092023年 6月 15日Computer Engineering 计算机工程入到模型中学习得到雾密度感知模型，其他去雾图像评价方法6，13-14，也都离不开对比度的相关特征。FDP-DIQA 方法对输入的自然雾图计算图像的局部均值以及局部标准差，并取局部标准差作为第 1个对比度特征，其表达式如下：(i,j)=k,lw(k,l)(I(i+k,j+l)（1）f(i,j)=|k,lw(k,l)(I(i+k,j+l)-(i,j)2|12（2）其中：i、j为图像块坐标索引；为局部均值；w为高斯权重。局部图像块内的标准差计算可以突出图像块中纹理与其他区域的对比度6，但考虑到局部均值会对局部标准差产生影响，本文突出图像块内像素值的离散程度，并将推导得到的变异系数作为第 2 个对比度特征，其表达式如式（3）所示：f=f+1（3）该特征在文献 7，14 中也被用于感知雾密度。此外，由于对比度能量（Contrast Energy，CE）可以预测自然图像上的局部对比度18，相比于大多数计算简单的对比度如韦伯对比度等，其对雾密度有更加敏锐的感知能力7，19，在此前的相关研究中也被大量使用，故本文将对比度能量作为第 3个对比度特征，其表达式如式（4）所示：fCE=Z(I)Z(I)+-（4）其中：Z(I)=()Igx2+()Igy2，表示卷积，gx和gy分别是高斯函数的水平和垂直二阶导数；是Z(I)的最大值；控制对比度增益；是用于约束噪声的噪声阈值。通过实验观察到，式（2）式（4）所计算的对比度特征仅针对图像的单一通道，没有充分考虑自然雾图的对比度在 RGB图像中的变化。图 1所示为不同雾密度下的 RGB 颜色分布，可以看到，在 RGB 颜色空间中，随着雾密度的加深，3 个颜色通道的像素值逐渐升高并向大气光照强度靠近，且各个通道的像素值差异逐渐减小。基于该发现，本文设计了一个全新的局部协方差（Local Covariance，LC），通过计算 RGB 图像中局部图像块的最小通道与平均通道的协方差，来衡量局部的对比度信息，反映自然雾图中的雾密度变化。因此，本文将 LC 作为第 4种对比度特征，具体计算式如式（5）所示：fLC(i,j)=cov(meanc R,G,BIc(i,j),minc R,G,BIc(i,j)（5）其中：c R,G,B表示图像的 RGB通道；cov表示为协方差计算。1.1.2色彩信息图像色彩信息也是雾密度感知的重要特征，它可以用来衡量图像的能见度降低和颜色退化程度。为此，本文提取了两种色彩相关的特征来描述自然雾图的色彩信息。CIELAB 色彩空间，也称为 L*a*b*，是由国际照明委员会定义的色彩空间，由 3个分量组成：L*表示感知亮度；a*和 b*表示人类视觉的 4种独特颜色，包括红色、绿色、蓝色和黄色。对于自然雾场景，雾的覆盖程度越重，场景越发灰白，散失原本鲜艳的色彩。为突出色彩的这一变化，本文提取 a*以及 b*分量中的最大值（Maximum of a*and b*，Mab）来表征对应像素色彩的鲜艳程度。图 2所示是不同雾密度下 Mab特征的分布，可以看到，自然雾图随着雾密度的加重，场景色彩不断退化，而 Mab逐渐降低。因此本文提取 Mab 作为第 1 个色彩特征，其表达式如式（6）所示：fMab(i,j)=max|a(i,j)|,|b(i,j)|（6）图 1不同雾密度下的 RGB颜色分布Fig.1RGB color distribution at different fog densities图 2不同雾密度下 Mab特征的分布Fig.2Distribution of Mab features at different fog densities210第 49卷 第 6期朱钦权，王同罕，贾惠珍：基于雾密度感知增强的去雾图像质量评价方法除了 CIELab颜色空间，HSV 颜色模型也能较好地表达图像色彩，被广泛应用于去雾质量评价的研究中8，13-14。文献 20 通过描绘 HSV 空间中一对雾图像和无雾图像之间差异的直方图，发现饱和度（S）分量和亮度（V）分量与颜色变化密切相关；LIU 等13发现图像的 V 和 S 分量随着图像中雾密度的增加而减小，故提出使用fChromaHSV来测量雾图或去雾图像中的色彩失真程度。本文也采用该特征作为第 3种感知色彩强度的特征，具体计算式如式（7）所示：fChromaHSV(i,j)=S(i,j)V(i,j)（7）其中：V(i,j)为图像对应像素点的亮度；S(i,j)为图像对应像素点的饱和度，均通过将 RGB 图像转换为HSV颜色空间获取得到。1.1.3图像去雾先验为丰富对自然雾图的失真情况的表达，本文还针对性地引入了多个去雾先验特征。此前相关去雾图像质量评价的研究7-8，13-14大量运用暗通道先验21作为重要特征，暗通道先验的表达式如式（8）所示：fdark(i,j)=minc R,G,BIc(i,j)（8）对此，本文进一步对几个经典的去雾先验模型进行总结，提取了暗通道先验外的 2 个先验特征并运用到雾密度感知任务中。颜色衰减先验在文献 22 中被提出，作者通过对大量图像进行统计分析后发现，雾图的雾浓度与亮 度 和 饱 和 度 之 差 呈 正 比，具 体 表 达 式 如 式（9）所示：fCAP(i,j)=|V(i,j)-S(i,j)|（9）文献 23 提出使用 Haze-Line辅助图像去雾，并发现一幅图像的所有像素在 RGB 空间中的位置会发生聚类现象。根据该发现，作者结合大气散射模型将彩色图像转化为球坐标，将球坐标的偏转角表述为各类色彩簇，利用球坐标距离估计雾密度，该距离则通过像素点与大气光照A的欧氏距离来表示，大气辐射半径的计算式如式（10）所示：fradius(i,j)=I()i,j-A()i,j（10）1.2图像结构特征提取图 3所示为 DHQ数据集的图片示例，可以看到，图像去雾造成的结构失真主要表现在两方面：1）由于部分方法没有合理控制去雾尺度，在去雾的同时过度增强了图像的结构细节，导致图像失真更加严重。2）在去雾过程中对图像细节进行增强时，容易形成伪影。这常见于低对比度区域，如天空部分的去雾。对此，本文充分借鉴 DHQI评价方法14，针对伪影问题，利用原始失真图信息计算去雾图像与失真图像的结构特征相似度，以感知评价去雾图像的结构性失真情况。结合对比度特征以及色彩特征，具体的相似性特征sn的计算公式如式（11）所示：sn(i,j)=2Fn(i,j)Fn(i,j)+CnF2n(i,j)+F2n(i,j)+Cn（11）其中：Fn(i,j)，Fn(i,j)，n=1,2,3,4,5,6分别代表自然雾图的对比度信息与色彩信息特征图和对应的去雾图像特征图；Cn为给定常数。针对可能存在的过度增强情况，可以通过提取在图像低对比度区域中的结构相似度来反映14。而低对比度区域则可以通过对比去雾前后的对比度变化进行判断，具体定义如下：=(i,j)f(i,j)E()f-f（12）其中：E()表示计算矩阵中所有值的平均值；f和f 分别代表自然雾图和对应去雾图像的第1个对比度特征图。低对比度区域下的图像结构相似度可用于衡量图像是否存在过度增强，表示为该区域内相似度特征的均值。具体计算公式如式（13）所示：on=1N(i,j)sn(i,j)（13）其中：N表示集合中像素数的归一化因子。1.3块效应特征提取除了结构性损伤，数字图像处理中常见的块效应也是需要关注的一点。在图像去雾的过程中，图像总是以数字图像进行处理，需要经历图像压缩的过程，这会将部分朦胧不清晰的图像进行压缩，导致在去雾过程中容易忽略其中的伪影，并带入块效应14。因此，本文通过检测去雾图像中的转角和边缘细节，计算它们的规律性并将其作为块效应的度量，表达式如式（14）所示，该特征更多的描述可以查阅文献 24。b=i,jc(i,j)i,jc(i,j)i,je(i,j)i,je(i,j)（14）其中：c是图像中转角的映射图，c(i,j)=1或 0 表示在(i,j)处检测到或未检测到转角；c与c相似，但仅能检图 3DHQ数据集的图片示例Fig.3Images example of DHQ data set2112023年 6月 15日Computer Engineering 计算机工程测到8 8像素边界处的角；e、e分别是类似于c、c的边缘映射。2去雾图像质量预测 2.1特征池化第 1节完成了对所有特征的提取，表 1给出了所提取特征的概述。由于雾密度感知特征(F1F9)以及全局的图像特征相似度(S1S6)是以特征图的形式提取得到的，为方便后续进行回归计算，需要对此进行池化操作。此前基于内容或基于视觉注意力的池已被证明在图像质量评价中有效25，但由于自然雾图中的雾会大面积地存在于背景中，并作为人眼感知雾浓度的重要判断依据，所以，为充分保留图像在背景中的细节，本文直接通过平均池化来计算相关特征的单一特征值，并针对每个输入的图像对，提取得到 22维的特征向量。2.2模型构建为建立起特征与质量分数之间的映射关系，在获取去雾图像与雾图的全部特征并形成 22 维的特征向量后，需要根据特征向量建立回归模型以预测图像的质量分数。而在此之前，SVR 和随机森林（Random Forest，RF）因为其出色的泛化能力在图像质量评价研究中被大量使用9，14，并取得了一定成果。但随着机器学习的进一步发展，SVR与 RF模型的性能表现已难以满足需要。LightGBM 是 微 软 基 于 梯 度 提 升 决 策 树（Gradient Boosting Decision Tree，GBDT）框架新开发的机器学习方法模型，通过提出梯度单边采样（Gradient-based One-Side Sampling，GOSS）和 互 斥特征捆绑（Exclusive Feature Bundling，EFB）这两种新技术解决传统 GBDT模型面对特征维数多且数据量大的样本时计算效率低和泛化性能差的问题25。LightGBM 模型在精度和计算速度等方面均优于GBDT 模型，在处理分类和回归任务时具有训练速度快、内存占用小、精度高等优点，更适用于高维数据26。对此，本文在同一个框架下进行训练与测试时，将 训 练 图 像 的 特 征 向 量 与 主 观 标 签 输 入LightGBM 模型中进行回归训练，从而训练出能对去雾图像进行质量预测的模型。随后，利用训练好的模型对去雾图像进行质量评价。本文 FDP-DIQA 方法的具体流程如图 4所示。3实验结果与分析 3.1数据集及评价标准为更加有效地验证评价方法的可靠性，本文同时在真实自然场景的数据集和合成雾图的数据集上进行实验，并选用6个公开可用的去雾图像质量评价的数据集，数据集的详细信息如表2所示。此外，选用皮尔逊线性相关系数（Pearson Linear Correlation Coefficient，PLCC），斯皮尔曼秩序相关系数（Spearman s Rank Correlation Coefficient，SRCC）和 均 方 根 误 差（Root Mean Square Error，RMSE）3个常用指标来评估模型的性能。PLCC和RMSE评估质量指标的准确性，SRCC旨在评估模型的单调预测。在使用PLCC和RMSE两种指标进行评价前，通常需要进行非线性回归，将预测值和主观分数映射到同一级别，采用的非线性回归方程27 如式（15）所示：p(x)=1|12-11+e2()x-3|+4x+5（15）其 中：p(x)为 非 线 性 回 归 后 的 预 测 分 数；n(n=1,2,3,4,5)为待拟合的参数；x为原始的预测分数。表 1雾密度感知特征概括 Table 1Overview of fog density perception characteristics特征类型对比度信息色彩信息图像去雾先验结构性特征块效应特征编号F1F2F3F4F5F6F7F8F9S1S6O1O6B特征描述局部方差归一化局部方差对比能量局部协方差a*和 b*的最大值ChromaHSV的色度暗通道先验颜色衰减先验大气辐射半径全局图像的特征相似性低对比度区域的特征相似性块效应符号fffCEfLCfMabfChromaHSVfdarkfCAPfradiuss1s6o1o6b公式编号(2)(3)(4)(5)(6)(7)(8)(9)(10)(11)(13)(14)图 4FDP-DIQA方法的流程Fig.4Procedure of FDP-DIQA method212第 49卷 第 6期朱钦权，王同罕，贾惠珍：基于雾密度感知增强的去雾图像质量评价方法3.2同类方法的对比分析以往研究发现，与通用图像质量评价方法相比，针 对 去 雾 图 像 而 设 计 的 质 量 评 价 方 法 有 明 显 优势9，13-14。为 了 证 明 本 文 方 法 的 优 越 性，将 FDP-DIQA 方法与目前已有的各类评价方法进行对比。在实验中，本文随机抽取每个数据集中 80%的去雾图像作为训练集，随机重复训练测试 1 000 次，并记录结果的中值。最终根据实验所用数据集的图像数量进行加权平均，以表征不同方法的综合性能。首先，本文将已公开发表的 4 种不受清晰参考图限制的去雾图像质量评价方法（NS6、FADE7、VDA-DQA9和 DHQI14）、3 种依赖清晰参考图的去雾图像质量评价方法（VI10、RI10和 FRFSIM13）以及在图像去雾研究中运用广泛的 PSNR 与 SSIM 表征方法进行实验对比，另外将不同数据集的实验结果根据数据集的图像数量进行加权平均，得到综合的性能评价结果，具体实验结果如表 3 所示，其中“”表示结果未知，最后一列为各方法在不同数据集中的综合性能表现，表中加粗数字表示该组数据最优值。由表 3 可知，与其他同类方法相比，FDP-DIQA 方法的性能有明显提升，这得益于 FDP-DIQA所提取特征的出色表达能力以及 LightGBM 模型的出色拟合能力。无论是在自然数据集 exBeDDE 和DHQ，还是其他人工合成的数据集，FDP-DIQA 方法的预测分数都与主观分数存在较高的相关性，这说明 FDP-DIQA很好地契合了人类的主观评价。本文使用不同方法对 960660 像素的彩色图像进行评价并记录运行时间，以反映各方法的复杂程度，实验结果如表 4 所示。实验环境：AMD Ryzen 7 5800U with Radeon Graphics 1.90 GHz，内 存 为16 GB 的 PC 机，操 作 系 统 为 64 位 Windows 11 家庭版。表 2数据集信息 Table 2Information of data sets数据集exBeDDE10MRFID13DHQ14SHRQR14SHRQA14IVCDehazing28图片类型自然雾图自然雾图自然雾图人工雾图人工雾图人工雾图数据集内容167个室外场景的雾图和 1 670个对应的去雾图像200个室外场景的清晰图像和 800个不同雾密度的雾图250个室外场景的雾图和 1 750个去雾图像的雾图像45幅清晰图像、45幅合成雾图和 360幅去雾图像30幅清晰图像、30幅合成雾图和 240幅去雾图像25幅合成雾图和 200幅去雾图表 3不同方法的性能对比 Table 3Performance comparison of different methods数据集SHRQASHRQRIVCDehazingexBeDDEDHQAvg.评价指标SRCCPLCCRMSESRCCPLCCRMSESRCCPLCCRMSESRCCPLCCRMSESRCCPLCCRMSESRCCPLCCRMSEPSNR方法0.658 20.848 80.825 40.631 30.671 110.315 40.418 90.600 70.601 80.477 90.638 12.165 9SSIM方法0.669 90.859 20.843 10.675 70.777 68.709 90.455 00.643 30.628 70.512 70.687 41.933 0NS方法0.435 10.603 412.884 40.435 10.603 412.884 40.282 40.135 51.465 40.087 50.081 10.266 30.122 10.513 011.277 10.160 50.337 06.683 2FADE方法0.663 20.675 911.908 10.342 50.335 613.049 80.127 20.198 31.449 70.652 10.569 30.219 60.252 60.254 012.706 30.435 80.407 17.215 3VI方法0.533 50.725 00.707 80.617 60.697 49.927 80.484 50.697 20.663 50.510 80.700 22.137 4RI方法0.451 50.641 60.604 10.552 70.678 110.181 70.332 30.479 50.466 10.379 80.528 22.021 5FRFSIM方法0.624 50.806 50.784 40.586 20.748 99.180 10.437 60.621 60.598 10.480 90.661 31.978 8DHDI方法0.883 40.866 28.051 40.736 20.833 87.644 80.584 30.484 21.335 40.858 90.868 50.132 40.880 70.889 06.016 20.845 90.855 73.720 6VDA-DQA方法0.854 00.836 48.855 50.812 80.873 86.737 30.673 90.690 61.069 70.922 20.935 00.094 80.847 10.860 06.703 60.866 10.881 53.946 5FDP-DIQA方法0.948 20.953 55.134 90.951 20.934 04.276 20.893 90.887 30.662 40.969 90.965 00.065 10.967 20.965 73.337 70.962 30.958 32.098 12132023年 6月 15日Computer Engineering 计算机工程由表 4 可知，与同类方法相比，FDP-DIQA 方法的运行时间稍长，但是在可接受范围之内，与 VDA-DQA 方法相比，FDP-DIQA 方法的运行时间则短很多。此外，FDP-DIQA 方法的预测效果比其他方法都更好。整体而言，本文 FDP-DIQA 方法具有较好的综合性能。3.3回归模型分析一个合适的回归模型能充分利用特征的表达能力达到预期效果，这对于算法来说至关重要。为公平对比 LightGMB、SVR 以及 RF 回归模型在性能方面的竞争力，本文采用训练集测试集=80%20%的分割比，记录 3 种模型在各数据集中的性能表现。此外，本文增加了 50%50%和 20%80%的数据集分割比来测试模型对训练数据量的依赖性。结果如图 5 和表 5 所示，表 5 中的加粗数字表示该组数据最大值。由 图 5 可 知，LightGBM 模 型 除 了 在 数 据 集IVCDehazing 中的性能表现略低于 SVR 与 RF 模型，在其他数据集上的性能表现均明显优于这两种模型。表 5 所示为不同训练比重下 3 种回归模型在DHQ 数据集中的性能对比，由表 5 可知，与 SVR 模型相比，LightGBM 以及 RF 模型在较低的训练比重下依旧能保持较高的预测精度，其中 LightGBM 模型的性能最突出。此外，无论何种回归模型，在本文的方法框架下均有较好的性能表现，而且即使在训练数据较少的情况下依旧能保持较高的预测精度，这说明对 FDP-DIQA 方法贡献最大的是特征提取，而不是特征回归模型。3.4特征分析为更加直观地了解雾密度感知特征与人类主观评价之间的关联，本文对单个特征进行相关性测试。利用 MRFID数据集中 800幅不同程度的含雾图像作为对象，将雾密度层级（1、2、3、4表示雾密度的逐渐加重）作为主观评价标签，并使用SRCC和PLCC指标对各个评价方法进行测试，结果如图 6所示，其中F1B是表 1中给出的特性编号。由图 6可知，结构特征是感知去雾图像质量的一个重要特征，如何避免结构伪影是图像去雾研究的一个重要方向。由图6还可以发现，对比度特征在去雾图像质量的出色表达能力，无论是前 3种此前运用广泛的对比度信息，还是本文提出的局部协方差特征，对于自然雾图的质量感知都有较高的一致性。表 4不同方法的运行时间对比 Table 4Runtime comparison of different methods 单位：s方法PSNRSSIMNSFADEVIRIFRFSIMDHQIVDA-DQAFDP-DIQA运行时间0.055 10.148 10.872 00.458 40.291 10.355 20.137 30.425 411.275 31.711 4图 5不同回归模型在不同数据集下的的性能对比Fig.5Performance comparison of different regression models under different data sets表 5不同训练比重下不同模型在 DHQ数据集中的性能对比Table 5Performance comparison of different models under different training weights训练比重80%20%50%50%20%80%评价指标SRCCPLCCSRCCPLCCSRCCPLCCRF模型0.944 90.941 10.910 60.903 80.863 80.852 7SVR模型0.894 90.884 00.707 40.661 50.447 00.384 9LightGBM 模型0.965 70.967 20.930 00.925 20.869 00.860 2214第 49卷 第 6期朱钦权，王同罕，贾惠珍：基于雾密度感知增强的去雾图像质量评价方法3.5消融实验表1清晰地展示了本文在对比度信息、色彩信息、图像去雾先验、结构特征和块效应 5 个方面提取的22个特征。其中对比度信息、色彩信息和图像去雾先验一起构成了雾密度感知特征，结构特征由全局图像相似度与低对比度区域图像相似度两部分构成。为进一步分析不同特征类型对模型性能的影响，将它们从特征向量中去除，并在数据集中进行测试，实验方法与第 3.2 节涉及的方法相同，测试结果如表 6所示。在表 6中，特征组的具体定义如下：1）Case1，只排除对比度信息；2）Case2，只排除色彩信息；3）Case3，只排除图像去雾先验；4）Case4，只排除全局图像相似度；5）Case5，只排除低对比度区域图像相似度；6）Case6，只排除块效应；7）Case7，只排除雾密度感知特征；8）Case8，只排除结构特征。如表 6 所示，在排除任一类型特征情况下的方法 表 现 出 的 性 能 都 不 如 完 备 的 FDP-DIQA 方 法。Case1Case6 的实验数据表明，结构特征的单一方面对 FDP-DIQA 方法的贡献大于单一类型的雾密度感知特征。其中低对比度区域的图像相似度比全局图像相似度发挥的作用更大，说明去雾图像中低对比度区域的质量更加容易引起人类视觉的注意，如何更好地还原低对比度区域的图像质量是图像去雾值得重点关注的方向29-30。由表 6还可以发现，完备的雾密度感知特征对模型性能的贡献最大，是模型发挥作用的关键，结构特征的存在则进一步丰富模型表