基于特征匹配的低照度图像增强评价方法研究.pdf

2023年/第11期 物联网技术智能处理与应用Intelligent Processing and Application1030 引 言当前机器视觉已得到广泛应用，较多应用场景的光照、气候条件变化较大，如自动驾驶、遥感成像、无人机等，给视觉成像质量带来诸多影响，其中低照度成像是在各应用领域中需重点解决的问题。为此，广大研究人员针对各自的需求提出了较多的低照度图像增强算法，可归纳为 3 类：基于分布映射的方法、基于模型优化的方法和基于深度学习的方法1-5。如何评价这些方法的性能是首先需要关注的问题，这对于图像筛选、算法参数选择、模型优化有着重要的参考价值。低照度图像增强评价属于图像质量评价的范畴，多年来图像质量评价都是图像处理领域的研究热点，不断有新的优秀评价数据集和评价方法出现，很多方法对于低照度图像增强评价具有借鉴和参考意义。黄宝庆6通过有效融合人眼的单目和双目视觉特征，创建了一种基于单双目特征融合的NR-SIQA 方法；鹿婷等7提出了一种新的与主观感知密切相关的无参考水下图像质量评价方法，融合了色度特征、基于人类大脑视觉皮层的对比度特征、反映图像信息丰富程度的清晰度特征；韩昊男等8结合清晰度相关特征和现有的客观质量评价，针对性地提出了一种由图像可视性、结构相似性和颜色恢复度相互融合的去雾方法质量评价。但目前较少有专门进行低照度图像增强评价研究的文献，可供低照度图像增强算法研究的专门评价方法也较少，研究人员普遍参考通用图像评价方法提出新算法。例如，郑爽爽等人9在提出了一种融合变分低照度图像增强算法后，使用了自然图像质量评估器（Natural Image Quality Evaluator,NIQE），分别从亮度、对比度、结构组成等方面与经典算法进行了比较；万方等人10通过将图像分解为基本层和细节层增强低照度图像，并基于主观和信息熵的方法对所提算法进行了评价。由于缺少专门针对低照度图像增强的评价方法，所以各种增强算法缺少相对统一的衡量依据，这将制约着该领域的进一步发展。为此，本文将通过研究低照度图像增强的共性特点，提出一种可供参考的评价方法。1 低照度图像增强评价理论基础1.1 Retinex 理论Retinex 理论认为图像 I(x,y)是由照度图像与反射图像组成，模型如图 1 所示。前者指的是物体的入射分量的信息，用 L(x,y)表示；后者指的是物体的反射部分，用 R(x,y)表示。公式为：I(x,y)=R(x,y)L(x,y)（1）同时，由于对数形式能够较好地反映人类感受亮度的过程，因此将上述过程转换到对数域进行处理，这样做也将复杂的乘法转换为加法，表达式为：ln(I(x,y)=ln(R(x,y)+ln(L(x,y)以上理论未考虑干扰对于图像的影响，一般在低照度条件下，图像噪声 N(x,y)不能忽略，为此将以上模型修 正为：ln(I(x,y)=ln(R(x,y)+N(x,y)+ln(L(x,y)（2）基于特征匹配的低照度图像增强评价方法研究王一波，梁伟鄯（柳州工学院 信息科学与工程学院，广西 柳州 545616）摘 要：当前低照度图像增强质量评价普遍以主观评价为主，缺乏定量描述，同时客观质量评价与主观评价结果一致性不稳定，二者时有分歧。为提升低照度图像增强评价的一致性及简便性，本文以 Retinex 理论为基础，分析得出低照度图像增强的理想指标，将其作为评价方法的基本参照；接着构建了监督式评测方法，分别从对比度、曝光现象、伪影、细节丢失、噪声等五个方面进行主观评价，按照设计的总体评价公式得出图像质量评价结论。考虑到监督式评测耗时长，主观不确定性难以建模，提出基于图像一致性和基于图像特征匹配两种客观评价方法，并对两种方法进行了比较分析。关键词：特征匹配；低照度；图像增强；质量评价；Retinex 理论；图像处理中图分类号：TP39 文献标识码：A 文章编号：2095-1302（2023）11-0103-03DOI：10.16667/j.issn.2095-1302.2023.11.028收稿日期：2022-11-24 修回日期：2022-12-22基金项目：广西科技基地和人才专项（2020AC19115）；广西高校中青年教师科研基础能力提升项目（2020KY60013）；广西 高 校中青年 教 师 科 研基 础 能 力提 升 项目（2020KY60012）物联网技术 2023年/第11期 智能处理与应用Intelligent Processing and Application1041.2 理想评价指标按照 Marr 计算理论，图像中的信息即图像中颜色或亮度的变化，呈现出的是物体和物体的关系以及物体与人的关系的要素。低照度图像增强的终极目标即剔除与所采集事物无关信息，保留能够反映本身特性的一切有用信息。图像I(x,y)的信息完全集中于反射图像 R(x,y)，因此理想的低照度增强即通过有效的滤波算法，从 I(x,y)中提取 R(x,y)。当然前提是建立在对于 L(x,y)、N(x,y)的精确估计基础上，但这在现实问题中是无法实现的。图 1 Retinex 模型2 面向应用图像评价算法2.1 监督式评价方法监督式评价是建立在“真值”已知的前提下，如前节所述，如果已知 R(x,y)，就可以将增强后图像与 R(x,y)进行定量比较，从而精确评价低照度增强算法的性能。但通常情况下，R(x,y)难以预先得到。为此，可将人的主观评价作为参考真值。本文将低照度图像增强质量划分为对比度、曝光现象、伪影、细节丢失、噪声 5 个方面。按照赋分制，由相关专家分别对上述指标进行评分，则算法质量综合得分为：Qs=cQc+eQe+aQa+dQd+nQn （3）式中：Qc、Qe、Qa、Qd、Qn分别为对比度、曝光、伪影、细节、噪声指标评分；c、e、a、d、n依次为颜色、曝光、伪影、细节、噪声权重系数，其应满足 c+e+a+d+n=1，在此 c、e、a、d、n取值根据实际应用需要进行调整，如应用对于细节保留特别敏感，则 d取值应明显高于其他权重，一般情况下，如无特别要求，则各权重可取值相同。选取一幅低照度图像运用直方图均衡和同态滤波算法对其进行处理，结果如图 2 所示。图 2 直方图均衡与同态滤波比较由 5 位受访者（编号 1 5）按照上述指标分别进行打分，每项指标最高 10 分，最低 0 分，在此各指标权重相同，结果见表 1 所列。表 1 监督式评价评分编号直方图均衡同态滤波QcQeQaQdQnQsQcQeQaQdQnQs1757666.2677776.82856766.4778687.23747666.0777676.84657766.26786875856676.4777777均值6.26.96由表 1 可以看出，直方图均衡平均得分 6.2，同态滤波平均得分 6.96，两种算法在不同指标上表现略有不同，但整体效果同态滤波要优于直方图均衡。2.2 非监督式评价方法监督式评测的难度在于获取准确的真值，而人为主观评价存在着较大的不确定性，如果不能对此种不确定性进行定量描述，则在实际应用中会造成不可预知的结果，但目前尚无较好方法进行主观不确定性建模。同时主观评价对于专家数量有较强依赖，专家人数越多，则评价结果越准确，但这会造成较大的人力、时间消耗。为此，本文将重点研究低照度图像增强质量的非监督式评价方法。方法一：将增强后图像与均匀光照条件下拍摄图像对比，进行一致性评价。二者一致性越好，则增强质量越高，在此须根据实际应用定义一致性。通常情况下，增强后图像不可能与光照均匀图像完全一致，二者的一致性应主要体现为对应像素灰度值比例一致性，为此做如下定义：图像 I1(x,y)、I2(x,y)对应位置的像素灰度值分别为 p1(x,y)、p2(x,y)，将 p=p1(x,y)/p2(x,y)看作一随机变量，则其方差 p=Ep-E(p)2 表示两图像的比例一致性。p越高，则图像间的一致性越高。以同一场景分别在均匀光照和低照度条件下进行采集，对低照度图像分别采用伽马校正和同态滤波算法进行处理，其结果如图 3 所示。图 3 伽马校正与同态滤波比较对伽马校正与同态滤波两种算法的结果进行一致性评价，直方图均衡一致性为 0.05，同态滤波一致性为 0.03，后者一致性好于前者，与主观评价一致。但该种方法需采集均匀光照图像，同时两种光照条件下图像应严格配准，这给图2023年/第11期 物联网技术智能处理与应用Intelligent Processing and Application105像采集提出了特别高的要求。为此，该种方法并非首选。方法二：以特征提取精度为依据。提取场景的特征对测试图像进行测试，一般以检测特征点为主，如果特征检测精度越高，则说明低照度图像增强质量越好。为定量评价算法性能，可以采用连续采集空间相邻帧，以 2 帧图像特征点正确匹配对数为评价依据，具体如下：QCCC=+TTF （4）式中：CT为正确匹配对数；CF错误匹配对数；Q 表示正确匹配率，其值越高，则增强质量越好。如果错误匹配数为 0，则不论正确匹配对数为多少，Q 始终为 1。这样将无法区分匹配对数多和少的算法的性能，为此进行如下修正：QCCCC=+TTFT1 （5）补充 1/CT后，如果 CT越大，则 1/CT越小，从而 Q 得分将越高，则正确匹配对数越高的算法，得分也将越高。从图 4 可以看出，经同态滤波算法增强后的图像分别运用 ORB 算法检测特征点，对 2 幅图像进行特征点匹配，则Q 值为 9.93。图 4 低照度增强特征匹配3 实验分析3.1 照度影响分析评价采集由 D50 标准光源提供 0.1 lx、5 lx、20 lx 三种照度条件下的图像，分别采用直方图均衡、同态滤波、深度学习算法进行增强处理，再检测相邻帧的 ORB 特征点，结果如图 5 所示。图 5 照度对增强算法影响比较按照处理结果，分别采用特征匹配评价方法进行评分，0.1 lx、5 lx、20 lx 经增强后 Q 值分别为 0、9.9、9.95。据此，照度对图像增强算法的结果有显著影响，在不同环境光亮度下，Q 值都随着照度变化呈现规律性变化。当照度低于可接受范围时，增强算法将失效。3.2 评价方法比较实验选取结构特征丰富的场景，分别在均匀光照和低照度条件连续采集 2 帧图像，分别运用直方图均衡、同态滤波算法对低照度图像进行处理，提取 ORB 特征点，结果如图 6 所示。图 6 算法处理评价这里使用主观评价方法、一致性评价方法、自然图像质量评估器（Natural Image Quality Evaluator,NIQE）和特征匹配方法分别对直方图均衡、同态滤波算法的增强效果进行评价，其结果见表 2 所列。根据表 2，监督式评价与非监督式评价结果一致，进而说明在一般的应用场景下，可以使用非监督式评价替代监督式评价。表 2 低照度增强评价方法比较算 法主观评价 方法一致性评价方法自然图像质量评估器特征匹配 方法同态滤波7.80.029.059.98直方图均衡6.60.039.379.954 结 语本文通过研究低照度图像增强的共性特点，提出了可供参考的评价方法。主要在两方面取得了进展：一是探索了低照度图像评价的理论模型，并提出了理想评价指标；二是有针对性地提出了低照度图像增强主观和客观评价方法，具有一定的体系性。通过与其他已有的评价方法进行比较，本文提出的基于特征匹配的评价方法总体性能更好，基本解决了主观与客观评价的一致性问题，对于低照度图像算法改进、图像筛选及模型优化等应用具有较好的参考价值。今后，将继续围绕优化低照度图像增强评价方法展开研究。（下转第108页）物联网技术 2023年/第11期 智能处理与应用Intelligent Processing and Application108图 6 桥梁模态分析示例图（3）通过应变监测数据，结合疲劳分析算法实现结构疲劳寿命评估8。通过疲劳试验得到桥梁构件的 S-N 曲线，然后根据 miner 线性累积损伤准则来估算桥梁构件的疲劳剩余寿命9-10，如图 7 所示。图 7 桥梁构件疲劳分析示例图（4）结合自动监测、人工巡检数据和其他相关数据（包括桥梁基础信息、成桥试验数据、人工巡检数据等）对结构的整体工作状态进行技术状况评估。4 结 语本文针对桥梁监测数据的分析算法，发展处于国内领先水平的桥梁监测技术，搭建具有独立知识产权的桥梁监测平台，突破桥梁监测系统行业壁垒厚、资金投入大、通用程度低的难题，为我国桥梁监测提供关键技术与平台，实现了桥梁监测数据分析工作的平台化，有效降低桥梁监测成本，产生经济效益的同时，具有很大的社会效益。参考文献1 尹赫男.基于 BIM 技术的桥梁健康监测信息可视化系统研究 D.大连：大连海事大学，2021.2 康佩，刘旨阳，王珏辉.基于物联网技术的桥梁结构健康监测系统的设计与实现 J.电子测试，2018，25（24）：62-64.3 王齐炫.基于物联网技术的桥梁健康监测系统设计方法研究 D.广州：广东工业大学，2021.4 周永川.港珠澳大桥结构健康监测系统总体设计及应用 J.中国交通信息化，2012，14（10）：71-73.5 ZHOU J T，LI X G，XIA R C.Health monitoring and evaluation of long-span bridges based on sensing and data analysis：a survey J.Sensors，2017，17：603.6 姚光，方锦.高低压成套开关设备智能化控制系统的设计及应用J.自动化应用，2016，57（7）：95-96.7 李德文，沈斌，沈玉杰，等.交通信号控制算法平台设计与应用 J.工业控制计算机，2022，35（9）：33-34.8 嵇应凤，姚卫星，夏天翔.线性疲劳累积损伤准则适用性评估 J.力学与实践，2015，37（6）：674-682.9 JINESCU V V.Critical energy approach for the fatigue life calculation under blocks with different normal stresses amplitudes J.International journal of mechanical sciences，2013，67：78-88.10 CARVALHO A L M，MARTINS J P，VOORLWAD H J C.Fatigue damage accumulation in aluminum 7050-T7451 alloy subjected to block programs loading under step-down sequence J.Procedia engineering，2010，2（1）：2037-2043.参考文献1 马龙，马腾宇，刘日升.低光照图像增强算法综述 J.中国图象图形学报，2022，27（5）：1392-1409.2 黄子蒙，陈跃鹏.基于优化策略和深度学习的低光照图像增强 J.南昌大学学报（理科版），2021，45（2）：135-140.3 程宇，邓德祥，颜佳，等.基于卷积神经网络的弱光照图像增强算法 J.计算机应用，2019，39（4）：1162-1169.4 李江华，王坤.一种基于卷积神经网络的低光照图像增强方法 J.江西理工大学学报，2020，41（5）：73-79.5 吴建斌，牛玉贞，张宇杰.基于图像自身信息感知的无参考低光照图像增强 J.小型微型计算机系统，2021，42（6）：1243-1249.6黄宝庆.基于人眼立体视觉特性的立体图像质量评价方法研究D.沈阳：辽宁大学，2022.7 鹿婷，侯国家，潘振宽，等.基于 HVS 的水下图像质量评价 J.计算机科学，2022，49（5）：98-103.8 韩昊男，钱锋，吕建威，等.图像去雾方法质量评价 J.光学精密工程，2022，30（6）：721-731.9 郑爽爽，卫文学，徐聪.融合全变分与 Gamma 的低照度图像增强算法 J.激光与光电子学进展，2023，60（12）：238-245.10 万方，雷光波，徐丽.基于阶跃滤波器的低照度图像边缘增强算法 J.计算机仿真，2022，39（5）：220-224.作者简介：王一波（1981），男，山西大同人，博士，高级工程师，研究方向为机器视觉、人工智能、工业控制。梁伟鄯（1989），男，广西贵港人，硕士，讲师，研究方向为嵌入式开发、信号处理。（上接第105页）