轨道交通低能见度场景图像增强系统研究.pdf

Journal of Image and Signal Processing 图像与信号处理图像与信号处理,2023,12(3),302-316 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/jisp https:/doi.org/10.12677/jisp.2023.123030 文章引用文章引用:袁小军,李晨,刘昕武,田野,姚巍巍.轨道交通低能见度场景图像增强系统研究J.图像与信号处理,2023,12(3):302-316.DOI:10.12677/jisp.2023.123030 轨道交通低能见度场景图像增强系统研究轨道交通低能见度场景图像增强系统研究 袁小军袁小军，李李 晨晨，刘昕武刘昕武，田田 野野，姚巍巍姚巍巍 株洲中车时代电气股份有限公司数据与智能技术中心，湖南 株洲 收稿日期：2023年6月19日；录用日期：2023年7月10日；发布日期：2023年7月21日 摘摘 要要 目标检测、语义分割等视觉任务应用于轨道交通的众多场景，大多数视觉系统被设计为在清晰的环境中目标检测、语义分割等视觉任务应用于轨道交通的众多场景，大多数视觉系统被设计为在清晰的环境中执行，然而真实的轨道交通场景必然会包含退化的图像场景，列车一年四季在外遇到的恶劣的天气，以执行，然而真实的轨道交通场景必然会包含退化的图像场景，列车一年四季在外遇到的恶劣的天气，以及面对隧道、夜间等环境中较差的照明，这些退化的图像会降低高级视觉任务的性能。本文关注于在恶及面对隧道、夜间等环境中较差的照明，这些退化的图像会降低高级视觉任务的性能。本文关注于在恶劣天气劣天气(雾天，降雨雾天，降雨)和弱光条件导致的能见度低的场景下进行图像增强，改善退化图像质量，为此，本和弱光条件导致的能见度低的场景下进行图像增强，改善退化图像质量，为此，本文提出了一种轨道交通低能见度场景图像增强系统，可以自适应地对天气和照度进行分类并对分类后得文提出了一种轨道交通低能见度场景图像增强系统，可以自适应地对天气和照度进行分类并对分类后得到的低照度、雾天和雨天这三种场景图像进行增强。将该系统运用于轨道交通场景下的多目标检测以及到的低照度、雾天和雨天这三种场景图像进行增强。将该系统运用于轨道交通场景下的多目标检测以及语义分割应用中，实验结果表明，对于低照度图像以及雾天图像，本文系统可以提升多目标检测及语义语义分割应用中，实验结果表明，对于低照度图像以及雾天图像，本文系统可以提升多目标检测及语义分割约分割约1%的准确率，对于雨天图像，本文系统可以提升多目标检测及语义分割的准确率，对于雨天图像，本文系统可以提升多目标检测及语义分割4%以上的准确率以上的准确率。关键词关键词 低能见度低能见度，图像增强图像增强，图像去雨图像去雨，图像去雾图像去雾，低照度低照度图像增图像增强强 Research on Image Enhancement System of Low Visibility Scene in Rail Transit Xiaojun Yuan,Chen Li,Xinwu Liu,Ye Tian,Weiwei Yao Data and Intelligence R&D Center,Zhuzhou CRRC Times Electric Co.,Ltd.,Zhuzhou Hunan Received:Jun.19th,2023;accepted:Jul.10th,2023;published:Jul.21st,2023 Abstract Visual tasks such as object detection and semantic segmentation are applied to many scenes in rail transit.Most visual systems are designed to execute in clear environments.However,real rail transit scenes inevitably contain degraded image scenes,such as the harsh weather encountered by trains outside all year round,as well as poor lighting in environments such as tunnels and nighttime.These degraded images can reduce the performance of advanced visual tasks.This ar-袁小军 等 DOI:10.12677/jisp.2023.123030 303 图像与信号处理 ticle focuses on image enhancement in scenes with low visibility caused by severe weather(foggy,rainy)and weak light conditions to improve degraded image quality.For this reason,this paper proposes a low visibility scene image enhancement system for rail transit,which can adaptively classify weather and illumination and enhance the classified images of low illumination,foggy,and rainy scenes.Applying this system to multi-object detection and semantic segmentation applica-tions in rail transit scenarios,experimental results show that the system can improve the accuracy of multi-object detection and semantic segmentation by about 1%for low illumination images and foggy images.For rainy images,the system can improve the accuracy of multi-object detection and semantic segmentation by more than 4%.Keywords Poor Visibility,Image Enhancement,Image Deraining,Image Defogging,Low Illumination Image Enhancement Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着我国铁路总里程的不断增长以及智能运维智能列检需求的不断提升，对图像数据质量的要求也越来越高1。然而，轨道交通领域的数据采集不可避免地会遇到恶劣照度或者恶劣天气场景，在这些场景下采集的图像数据质量难以满足后续图像处理算法的性能要求2。比如夜间采集的图像或在列车底部等光照不强的区域采集的图像，因为照度低或者照度不均匀，存在纹理模糊、对比度低的现象；再比如在雾天或者在雨天天气采集的图像，存在雨雾遮挡的问题，导致图像清晰度低，目标物体难以辨别。这些恶劣场景下的图像在被后续图像处理算法应用时，如在目标检测、语义分割等算法应用中，算法性能被数据质量限制而难以达到令人满意的结果。因此，提升恶劣照度与恶劣天气场景下的图像数据质量，将有利于改善后续图像处理流程的性能。在进行图像增强提升数据质量，一方面是人类视觉体验的提升，另一方面对于机器视觉的感知与理解也会有帮助，探索同时使两者受益的总体框架是一个关键问题。现有的研究大多仍以各自解决路线上的问题为目标，他们的模型不足以超越自己的目的(仅用于人类视觉或机器视觉之一)3。针对恶劣天气和恶劣照度场景下的图像增强算法层出不穷4-9，既有传统方法也有基于深度学习的方法，涵盖学科理论多种多样。其中涌现了一些经典算法性能令人印象深刻。比如，对于低照度图像，Tao Li 等人提出了一种自适应非线性彩色增强方法10，可以在基本保持图像亮区不变的情况下对图像暗区进行亮度与对比度增强；Rahman 等人提出了多尺度 Retinex 增强方法11，基于 Retinex 理论实现了低照度增强功能。对于带雾图像，何凯明等人发现了清晰图像存在暗通道的统计规律，并基于此提出了暗通道去雾算法12，开创了基于暗通道进行去雾的先河；Xu Qin 等人提出了一种特征融合图像去雾算法13，通过引入通道注意与像素注意并将其融合构建了去雾网络，取得了较好的去雾效果；对于带雨图像，Wei 等人提出了提出了一种简洁的视频去雨模型14，利用基于块的高斯混合模型对雨层进行编码实现去雨功能；Dongwei Ren 等人提出了一种渐进递归去雨网络算法15，通过重复展开浅 ResNet 并引入递归层，提供了一个有效、简单的基线去雨网络。然而，当前这些算法大部分仅针对一种场景，没有形成一个整体的框架，也不考虑增强算法与其它Open AccessOpen Access袁小军 等 DOI:10.12677/jisp.2023.123030 304 图像与信号处理 高级视觉任务级联的效果，无法自适应地同时应对多种恶劣场景。在轨道交通中的高级视觉任务如障碍物目标叫测与轨道语义分割，训练数据大多设计在清晰的环境中执行，图像增强对于这些任务的提升效果不在单一场景增强算法的考虑范畴。本文提出了一种轨道交通低能见度场景图像增强系统，可以自动识别图像是否是低照度这样的恶劣照度场景或者识别是否是雨天雾天这样的恶劣天气场景，识别后可以有针对性地对图像进行低照度增强或者去雨去雾处理，从而提升图像质量。将该系统运用于轨交场景下的目标检测与语义分割应用中，实验表明，该系统可以有效提高目标检测和语义分割的准确率。2.系统框架设计系统框架设计 本文所提出的轨道交通低能见度场景图像增强系统方案如图 1 所示，主要包括 5 个模块，即照度分类模块、低照度图像增强模块、天气分类模块、图像去雨模块和图像去雾模块。当系统接收到一张待处理图像时，首先通过照度分类模块判断该图像是否是恶劣照度图像，若为低照度图像则接入低照度图像增强模块进行增强，增强后的图像能够在较好地保留图像亮区特征的情况下对图像暗区进行亮度和对比度增强，恶劣照度条件下的图像质量主要受低照度影响较大，天气情况在低照度下不易观察，因此对恶劣照度图像不做进一步的天气划分；若照度分类模块判断输入图像不是低照度图像，则接入天气分类模块以判断图像是否是在恶劣天气情况下拍摄；若判定图像为雨天天气，则接入图像去雨算法对雨痕进行去除，以消除雨痕遮挡对后续图像处理应用的影响；若天气分类模块判定图像为雾天天气，则接入图像去雾算法对图像进行去雾，以削弱雾天不清晰图像对后续流程的影响；而对于其它的照度与天气均正常的清晰图像，系统则不需要对其进行增强，直接输送到后续的图像应用中。Figure 1.Image enhancement system of low visibility scene in rail transit 图图 1.轨道交通低能见度场景图像增强系统 3.恶劣照度下的图像质量提升恶劣照度下的图像质量提升 3.1.基于主聚类推定的照度分类算法基于主聚类推定的照度分类算法 为了让系统可以自适应地处理不同照度图像，需要对输入的图像进行照度分类以便区分处理。本文采用了一种基于主聚类推定的照度分类算法。照度分类算法主要分为 6 个步骤：S1 获取 RGB 格式图像并将其转换到 HSV 空间，提取照度分量(),V x y。S2 对图像(),V x y进行多尺度高斯滤波：对照度分量(),V x y进行多尺度高斯滤波，公式如下：()()(),1,2,kkx yx yxTVGkny=(1)()22221,exp22kkkxyx yG+=(2)袁小军 等 DOI:10.12677/jisp.2023.123030 305 图像与信号处理 ()()()()1 122,nnY x ywTx yw Tx yw Tx y=+(3)上述公式中，(),V x y为采集的RGB 图像转换到HSV空间获取的照度V分量，是待预处理照度分量，(),kGx y为第k个高斯模板函数，表示卷积运算，(),nTx y为抽取的第n个高斯尺度下的照度图像数据，k为第 k 个高斯模板函数的标准差，n 表示总共有 n 个高斯滤波模板，w 为尺度配比，且 121nwww+=，(),Y x y为对照度分量(),V x y进行多尺度高斯滤波后的输出值。S3 设置迭代的初始值：()111,NMxymnY x yMN=(4)()()2111,1NMxysnY x ymnMN=(5)0.9swsn=(6)其中，M 和 N 分别表示矩阵(),Y x y的行数与列数。S4 定义迭代次数100k=，按照主聚类推定算法16公式更新 mn 和 sn 值。S5 满足迭代停止条件或者达到迭代次数上限 k 时，停止迭代，至此得到了照度分量(),V x y的主要像素照度估计值 mn。S6 设置经验阈值60T=，若mnT则认为是低照度图像，否则认为是正常照度图像。3.2.全局局部信息相结合的图像增强算法全局局部信息相结合的图像增强算法 若照度分类模块判定输入图像为低照度图像，则需要对输入图像进行增强，本文在自适应非线性彩色增强方法10的基础上，提出了一种全局局部信息相结合的图像增强算法对图像进行增强，算法主要分为 4 个步骤：步骤 S1：从获取的 RGB 图像中提取图像照度分量并进行多尺度高斯滤波预处理；设(),R x y，(),G x y，(),B x y为输入 RGB 图像三通道值，x、y 分别表示图像像素横轴和纵轴坐标，则照度分量(),V x y可由如下公式计算得到：()()()()(),max,OVRGx yx yyyBxx=(7)()(),255OVxVyx y=(8)其中(),OVx y是未归一化的照度分量，max 表示求最大值。对照度分量(),V x y进行多尺度高斯滤波，公式如下：()()(),1,2,kkx yx yxTVGkny=(9)()22221,exp22kkkxyx yG+=(10)()()()()1 122,nnY x ywTx yw Tx yw Tx y=+(11)上述公式中，(),V x y为采集的RGB 图像转换到HSV空间获取的照度V分量，是待预处理照度分量，(),kGx y为第k个高斯模板函数，表示卷积运算，(),nTx y为抽取的第n个高斯尺度下的照度图像数据，k为第 k 个高斯模板函数的标准差，n 表示总共有 n 个高斯滤波模板，w 为尺度配比，是根据图像场景袁小军 等 DOI:10.12677/jisp.2023.123030 306 图像与信号处理 设置的经验值且121nwww+=，该多尺度滤波的配比可以进行调节以便获得最佳的增强效果，(),Y x y为对照度分量(),V x y进行多尺度高斯滤波后的输出值，是预处理后获取的照度图像数据。步骤 S2：图像照度自适应增强，采用一种非线性的函数对所述预处理后的照度图像(),Y x y进行自适应变换，公式如下：()()0.750.25210.4 12zzYYzYY+=(12)0 for 5050 for 501501001 for 150LLzLL=(13)上述公式中，Y为增强后的照度图像数据，参数 z 与照度图像(),Y x y的直方图相关。L 为()255,Y x y的累积分布函数等于 0.1 时对应的照度值。步骤 S3：图像局部对比度增强。对预处理后照度图像(),Y x y使用多尺度侧窗保边滤波，通过下式进行：()()(),1,2,ppx yx yxFYHpny=(14)()()()()1122,nnI x yw Fx yw Fx yw Fx y=+(15)上述公式中，121nwww+=，该多尺度滤波的配比可以进行调节以便获得最佳的增强效果，(),pHx y表示第 p 个基于均值滤波的侧窗保边滤波函数，(),pFx y为对应的滤波输出，(),I x y为多个尺度侧窗保边滤波的加权输出值，表示卷积运算。对侧窗保边滤波输出进行对比度增强，通过下式进行：()()(),E x yS x yYx y=(16)()()()(),qqI x yE x yr x yY x yeps=+(17)3 for 3272 for 31071 for 10q=+(19)袁小军 等 DOI:10.12677/jisp.2023.123030 307 图像与信号处理 上述公式中，eps为一极小值防止除数为 0，可取0.00000001eps=，(),S x y为对比度增强后的照度图像，(),Y x y为对照度分量(),V x y进行多次高斯滤波预处理后获取的照度图像数据，a 为增益因子上限，可以根据不同场景设置不同的上限值，场景一般可分为夜晚场景，白天场景，或者按照照度大小分为多个等级的场景。使用上述增益因子，由增强后的照度图像转化为三通道彩色图像，公式如下：()()()(),for,255,255 for,255OtR x ytR x yRx ytR x y=(20)()()()(),for,255,255 for,255OtG x ytG x yGx ytG x y=(21)()()()(),for,255,255 for,255OtB x ytB x yBx ytB x y=(22)上述公式中，(),ORx y，(),OGx y，(),OBx y分别表示色彩增强后的输出图像的 R 通道、G 通道和 B通道像素值，(),R x y，(),G x y，(),B x y为对应的输入彩色图像像素值。t 为色彩增益因子。使用全局局部信息相结合的图像增强算法对轨道交通场景中的车载接触网运行状态检测系统(3C 系统)内弓网低照度图像进行增强，效果如图 2 所示，由图可见增强后图像的亮度和对比度得到提升。Figure 2.Before and after low light image enhancement for rail scenes 图图 2.轨交场景低照度图像增强前后对比 4.恶劣天气下的图像质量提升恶劣天气下的图像质量提升 4.1.天气分类算法天气分类算法 若照度分类模块判定输入图像为照度正常图像，则接入天气分类模块以进一步判定有无影响图像质量的恶劣天气发生。本文采用一种基于 ResNext 的分类算法17来对图像天气进行分类。模型网络结构如表 1 所示。ResNeXt 模型是 ResNet 网络模型18和 Inception 系列网络模型19 20的结合体。ResNeXt 借鉴Inception 的“拆分变换聚合”策略，不同于 Inception 的是，ResNext 不需要人工设计复杂的 Inception结构细节，而是每一个分支都采用相同的拓扑结构。ResNeXt 结构相比于 ResNet，可以在不增加参数复袁小军 等 DOI:10.12677/jisp.2023.123030 308 图像与信号处理 杂度的前提下提高准确率，同时还减少了超参数的数量。ResNeXt 块结构如图 3 所示。Table 1.ResNeXt network model 表表 1.ResNeXt 网络模型 Stage Output ResNeXt-50(32 4d)Conv1 112 112 7 7,64,stride 2 Conv2 56 56 3 3 max pool,stride 2 1 1,12833,128,3231 1,256C=Conv3 28 28 1 1,25633,256,3241 1,512C=Conv4 14 14 1 1,51233,512,3261 1,1024C=Conv5 7 7 1 1,102433,1024,3231 1,2048C=1 1 Global average pool 1000-d fc,softmax#params.25.0 106 FLOPs 4.2 109 Figure 3.ResNeXt basic block structure 图图 3.ResNeXt 基本块 袁小军 等 DOI:10.12677/jisp.2023.123030 309 图像与信号处理 将基于 ResNeXt 的天气分类模型运用于构建好的包含雾天、雨天、雪天以及清晰度较高的正常天气图像数据集中，分类结果混淆矩阵如图4所示，其中标号0、1、2、3分别表示正常天气、雾天、雨天及雪天，分类总体精度达到 97%。Figure 4.Confusion matrix for weather classification 图图 4.天气分类混淆矩阵 4.2.图像去雾算法图像去雾算法 若天气分类模块判定图像时雾天图像，则接入图像去雾模块对图像进行去雾处理。本文采用 FFA-Net网络模型13来实现图像去雾，FFA-Net 网络模型如图所示，FFA-Net 网络模型主要有 3 个部分组成，即包含了通道注意(Channel Attention,CA)和像素注意(Pixel Attention,PA)的特征注意模块、包含局部残差学习网络与特征注意模块的基本块结构以及特征融合结构(feature fusion attention)。FFA-Net 网络模型如图5 所示。Figure 5.FFA-Net network model 图图 5.FFA-Net 网络模型 将 FFA-Net 去雾模型在轨交场景下的雾天图像数据集中进行测试，去雾前后对比如图 6 所示，从图可见去雾后图像更加清晰。袁小军 等 DOI:10.12677/jisp.2023.123030 310 图像与信号处理 Figure 6.Comparison of rail transit scene image before and after defogging 图图 6.轨交场景图像去雾前后对比 4.3.图像去雨算法图像去雨算法 若天气分类模块判定图像是雨天图像，则接入图像去雨模块对图像雨痕进行去除。本文采用 PReNet网络模型15来实现图像去雨，PReNet 通过重复展开浅 ResNet，并进一步引入递归层，以利用跨阶段的深层特征的依赖性，形成最终的渐进递归网络，PRe-Net 是循环迭代优化的，其网络结构如图 7 所示。Figure 7.PRe-Net network model 图图 7.PRe-Net 网络模型 将训练好的 PRe-Net 去雨模型应用于轨交场景下的雨天图像数据集中进行测试，去雨前后对比如图8 所示，从图中可见雨痕基本得以消除。Figure 8.Comparison of rail transit scene images before and after rain removal 图图 8.轨交场景图像去雨前后对比 袁小军 等 DOI:10.12677/jisp.2023.123030 311 图像与信号处理 5.系统在轨交场景中的应用系统在轨交场景中的应用 为了更好地衡量本文所提系统的性能，评价其对目标检测、语义分割等应用准确率的影响，本文选取车载接触网运行状态检测装置(3c 系统)中的低照度图像、列车前方道路的带雨和带雾图像作为实验对象，设置两组对照组，即图像经过本文所提系统处理和不经过任何处理，依次评价系统对后续处理流程的影响。本文系统将作为插件的形式，对图像做增强预处理，并将与处理后的图像输送到后续图像处理流程中。所有实验程序均是在 Ubuntu16.04 系统中运行，硬件方面选用 125G RAM、NVIDIA Tesla T4 GPU 和2.10 GHz Intel(R)Xeon(R)Silver 4110，软件方面选用 Ubuntu16.04(64 位)操作系统，CUDA 版本为 10.0，CuDNN 版本为 10.0。在实验中自适应恶劣场景图像质量提升系统所涉及的参数设置如表 2 所示。Table 2.System parameter setting 表表 2.系统参数设置 模块 参数名 参数值 照度分类 高斯滤波模板个数 3 照度分类 主聚类推定迭代次数 100 低照度增强 高斯滤波模板个数 3 低照度增强 增益因子上限 4 低照度增强 侧窗保边滤波模板个数 3 5.1.目标检测目标检测 选择单阶段检测网络 YOLOv4 21作为目标检测网络，采用与原始 YOLOv4 相同的网络架构和损失函数。本文提出的轨道交通低能见度场景图像增强系统作为插件的形式添加在模型前。原始 YOLOv4 模型依次在轨交场景的弓网图像数据集以及轨交场景的列车前景图像数据集上进行了训练，输入图片分辨率为 640 640，批尺寸(batch_size)设置为 8，采用均值交并比(mIOU)作为评价指标，采用目标检测框的面积交并比(IOU)阈值为 0.5 的平均精度均值(mean Average Precision,mAP)作为模型评价指标。首先，对于高铁 3C 场景的低照度图像，在经过系统处理前与处理后依次输入训练好的基于 YOLOv4的目标检测模型中，待检测的目标有接触网吊弦与受电弓两个目标，模型检测结果如表 3 所示，系统处理前与处理后的低照度图像目标检测效果如图 9 所示。mAP0.5数值越高，说明目标检测的性能越好，准确率越高。由表 3 可知，在经过本文所提系统处理后，对接触网吊弦与受电弓的目标检测准确率提高了 1%，从图 9 可以明显观擦到，经过系统处理后低照度图像的整体亮度与对比度得到了增强，原图像无法检测到的接触网吊弦在增强后可以被检测到。Table 3.Comparison of multiple target detection accuracy of different algorithms 表表 3.不同算法的多目标检测准确率对比 算法 低照度 mAP0.5 雾天 mAP0.5 雨天 mAP0.5 未使用本文系统预处理 0.949 0.950 0.905 使用本文系统预处理 0.959 0.963 0.966 袁小军 等 DOI:10.12677/jisp.2023.123030 312 图像与信号处理 Figure 9.Comparison of object detection results before and after low illumination image enhancement 图图 9.低照度图像增强前后目标检测结果对比 其次，将带雨带雾的列车前景图像输入基于 YOLOv4 的多目标检测模型中，待检测的目标有行人、汽车、信号灯、障碍物、列车、站台、卡车等多个目标，同样采用目标检测框的面积交并比(IOU)阈值为0.5 的平均精度均值(mAP)作为模型精度水平的衡量标准，检测结果如表 3 所示，系统处理前与处理后的雨天与雾天图像目标检测效果分别如图 10 与图 11 所示。通过表 3 可知，在经过本文的轨道交通低能见度场景图像增强系统处理后，雾天图像和雨天图像的目标检测准确率分别体高了 1.3%和 6.1%，在雨天类图像数据集上提升效果显著。从图 10 可以观察到，在雾天这类恶劣天气情况下采集的图像，在本文系统处理后图像清晰度得到了提升；在雾天时候会发生将行人识别为障碍物的错误情况，而图像去雾后目标检测模型可以正确地识别人与障碍物；同时，对于被雾遮挡的小目标如远端的小汽车，系统处理前有漏检的情况，处理后可以检测更多的小目标。从图 11 可以观察到，在雨天这类恶劣天气情况下采集的图像，在本文系统处理后图像雨痕得以消除，图像更加清晰；雨天图像因为有雨痕遮挡，像小轿车这类小目标容易误检，而系统处理后小轿车能够被检测到；同时，因为雨痕的存在，模型容易误检出更多的障碍物，在本文系统对图像预处理后这种误检得以减少。袁小军 等 DOI:10.12677/jisp.2023.123030 313 图像与信号处理 Figure 10.Comparison of object detection results before and after image enhancement with fog 图图 10.带雾图像增强前后目标检测结果对比 Figure 11.Comparison of object detection results before and after image enhancement with rain 图图 11.带雨图像增强前后目标检测结果对比 5.2.语义分割语义分割 本文提出的轨道交通低能见度场景图像增强系统，除了应用于目标检测外，还在训练好的基于袁小军 等 DOI:10.12677/jisp.2023.123030 314 图像与信号处理 DeepLabV3+模型22的语义分割应用中进行了测试，采用与原始 DeepLabV3+相同的网络架构和损失函数，模型输入图片尺寸为 640 640，输入对比图像为系统处理前后的列车铁轨带雨带雾图像，采用均值交并比(mIOU)作为评价指标，测试结果如表 4 所示，系统处理前与处理后的雾天与雨天图像语义分割效果分别如图 12 与图 13 所示。Table 4.Comparison of semantic segmentation accuracy between different algorithms 表表 4.不同算法的语义分割准确率对比 算法 mIOU(雾天)mIOU(雨天)未使用本文系统预处理 0.8036 0.7795 使用本文系统预处理 0.8231 0.8276 mIOU 值越高，语义分割准确率越高。通过表 4 可知，在经过本文的轨道交通低能见度场景图像增强系统处理后，雾天图像和雨天图像的语义分割准确率分别体高了 1.95%和 4.81%，与目标监测应用的测试效果类似，也是在雨天类图像数据集上提升效果更显著；从图 12 可以观察到，在雾天天气下的语义分割试验中，有雾遮挡时远处的铁轨难以被识别，有时候甚至会将轨道边的人行道误识别为铁轨，在本文所提系统与处理后，语义分割模型可以识别更大面积的铁轨，减少误识别的现象。从图 13 可以观察到，在雨天这类恶劣天气情况下采集的图像，因雨痕遮挡，模型难以识别远处以及阴影处的铁轨，而本文所提系统对图像预处理后模型可以识别更多远处及阴影处的铁轨，这提高了语义分割模型的准确率。Figure 12.Comparison of semantic segmentation effects before and after image enhancement with fog 图图 12.带雾图像增强前后语义分割效果对比 袁小军 等 DOI:10.12677/jisp.2023.123030 315 图像与信号处理 Figure 13.Comparison of semantic segmentation effects before and after image enhancement with rain 图图 13.带雨图像增强前后语义分割效果对比 6.结语结语 本文提出了一种轨道交通低能见度场景图像增强系统，该系统通过基于主聚类推定的照度分类算法识别图像是否在恶劣照度条件下采集，通过基于 ResNeXt 网络的天气分类算法识别图像是否是在雨天、雾天这样的恶劣天气条件下采集，若识别为恶劣条件下采集则系统可以自适应地根据图像情况，对图像使用全局局部信息相结合的彩色增强方法进行低照度增强，或者使用基于 FFA-Net 的去雾算法进行图像去雾，或者使用基于 PRe-Net 的去雨算法进行图像去雨，提高图像的整体质量。本文所提系统在轨交场景中的目标检测和语义分割应用中进行了测试，系统作为插件的形式嵌入到应用中对图像进行预处理，试验表明，本文方法可以较好地对低照度、雨雾天气图像进行增强，提高图像清晰度与对比度，在轨交场景中的低照度图像、雾天图像测试集中提高目标检测及语义分割模型约 1%的准确率，在两个应用中可提高雨天图像测试集 4%以上的准确率。参考文献参考文献 1 姚巍巍,田野,李晨.基于改进 SOLO 的列车主动避障视觉算法研究J.电子测量技术,2022,45(9):133-139.2 叶崧,杨万扣.改进的基于大气光幕单幅图像去雾算法J.电子测量技术,2016,39(3):50-55.3 Yang,W.,Yuan,Y.,Ren,W.,et al.(2020)Advancing Image Understanding in Poor Visibility Environments:A Collec-tive Benchmark Study.IEEE Transactions on Image Processing,29,5737-5752.https:/doi.org/10.1109/TIP.2020.2981922 4 Kwon,D.,Kim,G.and Kwon,J.(2020)DALE:Dark Region-Aware Low-Light Image Enhancement.The 31st British Machine Vision Conference,Manchester,7-11 September 2020,page.5 Gharbi,M.,Chen,J.W.,Barron,J.T.,Hasinoff,S.W.and Durand,F.(2017)Deep Bilateral Learning for Real-Time Image Enhancement.ACM Transactions on Graphics,36,1-12.https:/doi.org/10.1145/3072959.3073592 6 Dong,Y.,Liu,Y.H.,Zhang,H.,Chen,S.F.and Qiao,Y.(2020)FD-GAN:Generative Adversarial Networks with Fusion-Discriminator for Single Image Dehazing.Proceedings of the AAAI Conference on Artificial Intelligence,34,10729-10736.https:/doi.org/10.1609/aaai.v34i07.6701 袁小军 等 DOI:10.12677/jisp.2023.123030 316 图像与信号处理 7 Zhang,H.and Patel,V.M.(2018)Densely Connected Pyramid Dehazing Network.2018 IEEE Conference on Com-puter Vision and Pattern Recognition,Salt Lake City,18-23 June 2018,3194-3203.https:/doi.org/10.1109/CVPR.2018.00337 8 Wang,H.,Yue,Z.,Xie,Q.,et al.(2021)From Rain Generation to Rain Removal.2021 IEEE Conference on Computer Vision and Pattern Reco