基于道路分割的道路天气识别方法研究_吕慈明.pdf

第 40 卷第 5 期2023 年 5 月公路交通科技Journal of Highway and Transportation esearch and DevelopmentVol.40No.5May 2023收稿日期:20220713作者简介(*通讯作者):吕慈明(1979)，男，广东揭阳人.(252731003 )doi:10.3969/j.issn.10020268.2023.05.025基于道路分割的道路天气识别方法研究吕慈明*1，刘电2，张秀杰2(1 广东省高速公路有限公司京珠北分公司，广东韶关512737;2 广州国交润万交通信息有限公司，广东广州510665)摘要:为了实现道路场景下天气图像的准确识别，提出了一种基于道路分割的道路天气识别方法，通过设计一种结合语义分割模型提取道路区域特征的方法，构建了一种结合道路天气图像全局特征及道路特征的道路分割融合网络(SFN)。首先，通过道路分割网络对原始图像进行预处理，获取二值化图像，并利用卷积特征掩码(CFM)获取了道路区域信息。随后，构建了由全局网络分支和道路网络分支构成的卷积神经网络，分别用于提取整体图像区域特征和专注提取道路天气特征。针对提取到的不规则道路特征，使用 CFM 将图像全局特征和道路局部特征进行融合。最后，通过全连接层进行了重点道路区域的天气识别，并兼顾整体的天气识别，实现了阴天、晴天、雾天、雨天和雪天 5 种天气的识别。通过收集多个城市地区不同路段、不同天气下的高速公路真实监控视频，构建了道路多分类天气数据集(MWD)，并与不同网络模型进行了测试结果对比。结果表明:在参数和运算量都有所降低的情况下，SFN 天气识别算法的准确率和召回率为 85.40%和 80.30%，分别提高了至少 3.97%和 3.86%;基于道路分割的道路天气识别方法将网络模型提取特征的重点区域放在了道路中，SFN 算法实现了道路天气特征的有效提取，能够有效应用于道路场景下实时准确的天气识别。关键词:交通安全;道路天气识别;SFN 算法;特征融合;图像分割中图分类号:U491.1文献标识码:A文章编号:10020268(2023)05018409Study on Method for oad Weather ecognition Based on oad SegmentationL Ci-ming*1，LIU Dian2，ZHANG Xiu-jie2(1 Beijing Zhuhai North Branch of Guangdong Expressway Co.，Ltd.，Shaoguan Guangdong 512737，China;2 Guangzhou un One Traffic Information Co.，Ltd.，Guangzhou Guangdong 510665，China)Abstract:In order to realize the accurate recognition of weather images in road scenes，a road weatherrecognition method based on road segmentation is proposed，and a sort of road segmentation fusion network(SFN)，with the overall road weather image features and road features，is established by designing amethod for extracting road area characteristics combining with the semantic segmentation model First，theoriginal images are preprocessed through the road segmentation network to obtain the binary images，and theroad area information is obtained by using the convolutional feature mask(CFM)Subsequently，aconvolutional neural network，which is composed of overall network branches and road network branches，isestablished and used to extract the overall image area features and focus on extracting the road weatherfeatures respectively In view of the extracted irregular road characteristics，the overall image features and theroad local features are fused with CFM Finally，the weather recognition of key road areas is carried outthrough a fully connected layer，and the recognition of 5 types of weather(cloudy，sunny，foggy，rainy，andsnowy)is realized considering the overall weather recognition A road multi-class weather dataset(MWD)is established by collecting real surveillance videos of expressway in multiple urban areas with different road第 5 期吕慈明，等:基于道路分割的道路天气识别方法研究sections and weather conditions，and compared with different network models on testing results The resultshows that(1)under the situation of decrease in parameters and computations，the SFN weather recognitionalgorithm has accuracy rate and recall rate of 85.40%and 80.30%that improved by at least 3.97%and3.86%respectively;(2)the key areas of extracting features from network models are placed in roads byusing the road weather recognition method based on road segmentation，and the effective extraction of roadweather features is realized by using SFN algorithm，which can be applied to real-time and accurate weatherrecognition in road scenes effectivelyKey words:traffic safety;road weather recognition;SFN algorithm;feature fusion;image segmentation0引言计算机视觉是当前发展蓬勃且十分具有应用价值的研究领域，随着近年来大量学者在计算机视觉领域的研究及推广，在众多的计算机视觉应用中，智能交通视频分析是其中最重要的应用之一，目前广泛应用的智能交通领域中有车辆跟踪、抛洒物检测、高速收费站口车型识别和车牌识别等。除了以上这些智能交通应用，交通驾驶安全也是一个值得关注的领域。根据实际交通行驶道路的天气情况来管理道路安全程度，提醒公路司机小心驾驶，关于这一方面的研究少之又少。因此，在交通管理场景下，高速公路天气识别具备前瞻性的应用空间及可预见性的研究价值。过去学者们针对多类别天气分类的大多数工作主要分为 2 种，分别是通过气象数据识别天气和通过实时图像识别天气。气象数据识别天气方法主要利用采集的气象数据和天气指数特征来分析并分类天气。该类方法主要分为 2 个步骤:首先是采集数据，依赖于由气象台采集的多项天气特征指数数据1，例如大气中的悬浮物浓度，在晴天、阴天、雪天和雨天等不同天气条件下悬浮物浓度有着明显的偏差;然后是分析数据，采用数据挖掘或机器学习2 等方法建立天气分类数学模型，训练模型并提高分类准确率。天气图像分类相关的研究也随着图像分类研究的发展受到越来越多的学者关注，众多学者从不同的图像表征角度出发，提出了多种提取图像表征特征的方法，这些方法大体上分为特征提取和特征分类 2 个阶段。研究初期的天气图像分类也是基于图像本身的浅层表征特征，即不同天气分类下图像内物体和场景表现的特征3，如图像的色彩饱和度、图像内物体的边缘和形状特征等。有的学者将典型图像物体识别的特征提取方法应用在天气图像识别中。为了更完整地表达出图像中的天气特征，侯慧蓉4 采用多种图像表征特征提取方法，包括局部二值模式提取图像纹理特征、颜色特征空间信息、图像形状特征，然后融合这些特征后输入分类器识别天气图像。但现有的天气图像识别研究中，用于识别的天气图像为多种户外场景，可观察到清晰的天气特征，如晴天图像可以看到清澈的蓝天。在本研究的道路天气识别中，图像场景局限于道路监控摄像头的拍摄区域，道路区域占图像的大部分面积，现有的深度学习天气图像方法无法很好地适用于本研究。在本研究的道路天气识别中，道路图像的场景通常局限于以道路为主体，且道路旁包括自然绿植或城市建筑，更难以提取出有效识别天气分类的特征。相较而言，公开天气数据集中户外场景下的天气图像具有图像内容上的多样性，且不同分类下天气图像均显现出其特有的标志性特征或场景，如晴天图像有着翠绿的植被和蔚蓝的天空，雾天图像出现在高海拔山脉上等。对于道路天气识别的天气图像，不同分类的图像均限制于道路场景下，无法从图像的内容差异中获取有助于分类的信息。因此本研究算法的主要思路在于利用语义分割模型对道路图像分割出道路区域并输入网络中提取道路天气特征，通过强调道路区域的贡献程度以提升模型的天气分类性能。1算法总体流程本 研 究 提 出 道 路 分 割 融 合 网 络(oadSegmentation Fusion Network，SFN)天气识别算法，通过预先训练完成的语义分割模型，分割并处理获得道路区域二值图像，并将原始图像和道路区域二值图像分别输入笔者设计的卷积神经网络的全局网络分支和道路网络分支，最终融合二者的输出特征并识别天气分类。因此，本算法的创新之处在于，基于道路天气图像中道路区域丰富的相关天气特征，设计一条专门用于提取道路天气特征的网络分支，提升网络识别的性能。算法的总体结构如图 1 所示。581公路交通科技第 40 卷图 1算法流程图Fig.1Flowchart of algorithm(1)道路分割预处理阶段。首先输入原始图像到语义分割模型中，模型输出预测语义图像;然后将预测语义图像进行道路标签二值化处理，最终输出道路区域二值图像。(2)特征提取阶段分为全局网络分支和道路网络分支。全局网络分支输入数据集原始图像，提取图像在全局方面的深层天气特征;道路网络分支输入道路区域二值图像，通过卷积特征掩码(ConvolutionalFeature Masking，CFM)提取基于全局网络分支的浅层特征，进一步提取路面区域的特征。(3)分类阶段是将全局网络分支和道路网络分支的输出特征进行特征融合，随后输入全连接层，最终输出 5 类天气的概率向量。2道路分割预处理2.1语义图像生成道路区域分割的前提是完成对道路图像的完整分割。首先需要构建经过标准语义分割数据集训练完成的语义分割模型。在语义分割数据集方面，有不少 公 开 数 据 集 包 含 有 道 路 分 类 标 签，如Cityscapes5，ADE20k6 等。其中 ADE20k 数据集共有 150 个语义分割分类，囊括了 100 种物体和 50 种场景，其中包括了道路(road)这一标签，共有将近 25 000 张图像，是本研究语义分割模型训练的数据集。在语义分割模型的构建方面，图 2 为本研究采用的语义分割模型结构图，其包括用于特征提取和下采样的编码器和用于融合编码器多尺度特征和上采样的解码器。其中编码器采用 esNet18 卷积神经网络7，解码器采用 PPM8 金字塔池化网络。PPM 金字塔池化网络对编码器输出的特征图分别进行 4 次不同尺度的池化操作，操作的尺寸分别为 11，22，33，66，然后采用双线性插值上采样至与输入图像尺寸相同，并在通道维度上进行拼接，最后依次输入一层卷积核为 33，填充数为 1 的卷积层和一层卷积核为 11，输出通道数为标签类别数的卷积层。图 2混合高斯模型背景建模Fig.2Background modeling of mixed Gaussian model2.2语义图像二值化处理在通过语义分割模型输出预测语义图像后，为了能够在预测语义图像中仅提取道路区域，下个步骤需要对预测语义图像进行道路区域二值化处理。设预测语义图像为 S，输出道路区域二值图像为，图像每个像素点取值范围在 0，255间，二值化处681第 5 期吕慈明，等:基于道路分割的道路天气识别方法研究理的公式如下:(x，y)=255，若 S(x，y)等于道路标签对应值0，否则。(1)当语义图像的像素值等于路面标签对应值时，取响 应 值 255。式 中，S(x，y)为 语 义 图像;S 为坐标(x，y)处对应的像素值;(x，y)为路面二值图像;为坐标(x，y)处对应的像素值。为使天气识别卷积神经网络提取道路部分特征，道路二值化处理撇去了语义图像中其他部分，仅留下道路区域作为有效部分，并保存为二值图的形式，作为下一步骤中道路网络分支的输入。经过整个道路分割预处理过程后，图 3 展示了道路分割二值化例图，通过例图可看出道路二值化图像较好地还原了原始图像的道路区域轮廓，并且将道路上的行驶车辆从道路中较为完整地除去，说明道路分割预处理得到了较好效果。3网络构建本研究设计了一种结合整体图像和道路区域二图 3路面分割效果示例Fig.3Examples of pavement segmentation effects值图像的卷积神经网络方法 SFN，其网络结构分为2 个分支:用于提取图像整体特征的全局网络分支以及针对道路区域提取局部特征的道路网络分支。其具体卷积网络结构如图 4 所示。图 4SFN 网络结构Fig.4SFN network structure3.1全局网络分支针对道路天气识别研究，输入图像里的浅层特征，如纹理和边缘特征等，对天气分类并不具有代表性。浅层特征蕴含的语义信息局限在图像物体或场景的结构信息上，无法充分体现出天气相关的语义特征。为了提取更深层次的天气语义特征，在全局网络分支上采用 He 等人提出的 esNet 网络结构7，解决深层次卷积网络存在的不收敛隐患。esNet 设计了使用残差连接的残差块卷积层结构，相较于传统卷积层，直接将输入特征图 x 依次通过卷积核和激活函数后输出特征图 y，其中，y=H(x)和 H()为卷积层的潜在映射。残差层的目的在于设计 1 个拟合函数F(x)，映射 H(x)与输入 x 之间的残差信息:F(x)=H(x)x。(2)因此，对于潜在映射 H()，其目标可转化为F(x)+x，增加残差信息 F(x)可更好地拟合映射。由于网络优化过程中会使得 F(x)趋近 0，此时形成781公路交通科技第 40 卷H(x)=x 的恒等映射形式更有利于网络优化和收敛。本研究在全局网络分支中采用与 esNet18 相同的残差块结构，首先输入图像经过一个 7 7 的conv_1卷积层，随后衔接 4 个残差模块，每个模块里包含 2 个残差块，每个模块的卷积通道维度依次为 64，128，256，512。全局网络分支通过提取整体图像中有助于分类的全局特征，为模型识别性能提供基础保障，而道路网络分支可进一步在路面区域中寻找天气分类中可提升的空间。3.2道路网络分支3.2.1道路区域特征提取在道路天气图像中分割出道路区域后，下一步的关键是如何有效提取道路区域特征。道路区域作为整张图像的子区域，关于子区域特征提取的方法有:早期，Qiang 等人在-CNN 模型9 里，基于选择性搜索(Selective Search)生成了多张候选框，逐张输入互相独立的卷积神经网络进行特征提取，且后续不少基于-CNN 思想的目标检测模型也采用了这一思路。上述子区域特征提取方法将子区域图像视为一张新图像，而非整体图像的一部分，输入新的卷积神经网络中重新提取特征。王志红10 等人以典型的语义分割模型为基础，对输出网络进行改进，通过自制路面分类数据集实现了 9 类不同路面的识别。而在 He 等人研究的 SPP-Net 模型11 中展示了在卷积层输出的特征图与输入特性的映射关系，SPP-Net 提出了空间金字塔池化(Spatial PyramidPooling，SPP)来解决目标检测问题里候选框尺寸不统一的问题，空间金字塔池化将任意大小的候选框在原始图像的矩形位置通过尺寸比例映射到其在特征图对应的矩形位置，并将进行金字塔池化输出相同尺寸的特征图用于后续的全连接层。SPP 该类子区域特征图提取的方法实现了多张子区域图像在同一个卷积神经网络中提取特征，有效地与整体图片和其他子区域图像共享卷积特征图，且节省网络参数数量。但 SPP 针对的是规则矩形的子区域图像，而在本研究中，道路区域作为整体图像的子区域，其轮廓往往是不规则的，因此需要用掩码的方式映射其特征图对应区域。卷积特征掩码(CFM)12 解决了特征区域不规则这一方面的问题。如图 5 所示，CFM 的输入包括分割区域的二值掩码和卷积层输出的特征图，其中二值掩码即为上一步骤的道路分割预处理中获取的道路区域二值图像。随后将二值掩码映射在卷积图上，由于在特征图上每个坐标的元素值代表着在原始图像的一块感受野区域，本研究把二值掩码下采样至与特征图同一尺寸，此时二值掩码和特征图的每个坐标有着相同的感受野。接下来使二值掩码和特征图的坐标位置一一对应，当二值掩码的坐标元素值为 1(经过归一化操作后)时，保留特征图对应坐标位置元素值，否则其元素值为0。在实际操作中，下采样后的二值掩码与特征图进行元素积的操作，最终输出仅包括道路区域卷积特征的特征图。图 5CFM 方法示意图Fig.5Schematic diagram of CFM method3.2.2道路网络分支具体结构左杰格13 等人将图像进行分块，使用传统方法提取图像浅层特征，同时使用 VGG16 提取图像的深层特征，将浅层特征和深层特征进行融合识别出晴天、雪天、雨天、雾天 4 种天气类别。本研究通过道路网络分支提取道路区域深层语义特征用于道路天气识别是本算法的其中 1 个创新点。在全局网络分支提取图像整体语义特征的同时，建立道路网络分支，着重关注道路区域对道路天气分类的贡献。道路区域作为整体图像的不规则子区域，CFM 子区域特征提取方法可快速且有效地得到关于道路区域的卷积特征图。为了进一步提取道路区域关于天气方面的深层语义特征，本研究将道路网络分支的输入设置为全局网络分支浅层卷积特征图中的道路区域特征，即采用全局网络分支中 g_block_2 的输出特征图 Fg_block_2，如式(3)所示:Fg_block_2=g_ block_ 2 g_ block_ 1 conv_ 1(P)，(3)式中 P 为原始输入图像。随后输出特征图与道路区域二值图像 进行881第 5 期吕慈明，等:基于道路分割的道路天气识别方法研究CFM 提取区域特征图，得到道路网络分支的输入特征图 Froad，如式(4)所示:Froad=Fg_block_2，(4)式中 为元素积。在获得道路特征的输入特征图后，基于在全局网络分支前半部分所提取的道路部分的浅层语义特征，本研究建立道路网络分支提取道路区域的有效特征。图 4 展示了道路网络分支具体网络配置。基于输入特征图的尺寸及通道数，本研究采用与全局网络分支 g_block_3 和 g_block_4 一致大小的残差块构成道路网络分支的卷积神经网络结构 r_block_1 和 r_ block_2，针对性地对道路区域特征提取天气特征。3.3分类阶段由图 4 可知最终全局网络分支和道路网络分支均输出 512 维通道的特征图张量，特征图张量经过全局平均池化后变为 512 维特征向量。在分类阶段将全局网络分支和道路网络分支的特征向量拼接成1 024 维特征向量，输入一层由 1 024 维到 5 维的全连接层进行分类。经过全连接层输出后，采用 softmax 激活函数让最终的输出预测向量 P 的每个元素映射在(0，1)之间，如下:Pi=softmax(xi)=exinj=1exj，(5)式中，n 为总分类数量(本研究为 5);xi为全连接层输出预测向量对应下标的元素，由式(5)易知 P 每个元素可视为对应类别的预测概率，所有元素累加和为 1。模型最终采用预测概率最高的类别作为模型最终预测分类 y，如式(6)所示:y=argmaxiPi。(6)4试验结果与分析4.1试验指标(1)软硬件配置:本章所进行的试验在硬件方面基于 Windows10 操作系统，使用一块 Nvidia GTX1080Ti 显卡进行模型训练;在软件方面分别使用版本为 3.8.2 的 python 语言，版本为 1.6.0 的 pytorch深度学习框架，版本为 10.1.168 的 CUDA。(2)模型超参数配置:反向传播优化算法采用SGD 随机梯度下降算法;初始化学习率 0为 0.001，其学习率衰减策略采用指数退化，如下:n=0n，(7)式中，为退化速率，取 0.9;n 为训练纪元;训练批次大小取 8，最大训练纪元设置为 20，取测试集准确率最高纪元的模型参数作为最终的结果。(3)数据集采用本研究第 3 章所述的道路天气数据集作为衡量标准。其数据集中的训练集用于训练模型参数，测试集用于衡量模型性能。最终分类准确率 accuracy 计算方式如下:accuracy=correctn，(8)式中，correct 为模型预测成功的样本数量;n 为测试集总样本数量。4.2试验数据集训练数据在监督学习中是极为重要的部分之一，目前没有相关公开的收集道路区域天气情况的标准数据集。为了完成对道路天气识别的研究，构建了国内多省份地区交通场景下的道路天气图像数据集。本研究针对道路场景的天气识别构造了更贴合实际道路情况的道路多分类天气数据集(oadMulti-class Weather Dataset，MWD)。在图像采集上，本研究收集了国内多地高速公路监控摄像头所记录的不同天气下的视频帧。道路图像数据来源于广东、江西和辽宁 3 个省内多条高速公路、收费站和高架桥等道路监控摄像数据。本研究从 3 省交通视频管理系统选取若干个摄像头，通过网页 HTML元素抓取的方式获取摄像头实时视频流链接。由于每个摄像头架设的位置以及拍摄的角度都是固定的，故在得到视频流链接后，可通过脚本程序设置固定的时间间隔截取视频帧，并根据采集时间命名保存图像。并通过人工筛选和标注的方式过滤同一个摄像头重复一致的图像以及与天气标签不一致的错误图像，并分配 3 位测试者对每张图像所属天气标签进行投票并采纳多数票。通过上述图像采集和筛选标注方法，本研究最终构建了道路场景下 5 类道路天气数据集 MWD，其囊括国内南北多个城市地区交通道路场景的天气图像，并标注晴天、阴天、雨天、雾天、雪天 5 个类别之一。MWD 数据集共有 45 350 张图像，在数量分布上，每个类别较为均匀。4.3与其他方法对比本节将本章提出的 SFN 方法在道路天气数据集上与其他方法在识别准确率上进行比较，同时列举出每个方法的参数量以及运算量，其结果见表 1所示。表 1不同算法对比981公路交通科技第 40 卷Tab.1Comparison of different algorithms算法参数量/百万个 运算量/百万次准确率/%召回率/%AlexNet57.02710.6269.7565.41VGG13128.970.001 166.7861.33VGG16134.280.001 569.8163.21GoogLeNet5.611 503.8668.4465.54esNet1811.181 818.6481.3475.13esNet3421.293 670.7581.4776.62SFN21.682 641.1585.4080.30AlexNet14 可以视为是深度学习网络的开山鼻祖之一，总共有 8 层网络结构，包括 5 层卷积层和 3层全连接层，较多的全连接层使得模型整体参数较高，在道路天气数据集中取得较为可观的准确率;图 6混淆矩阵对比Fig.6Comparison of confusion matricesVGGNet15 采用多个小尺度卷积核叠加的方式，在获得与大尺度卷积核相同感受野的同时加深了卷积网络的深度。依据网络深度本研究采用了 VGG13 和VGG16 模型进行测试，VGG16 在加深网络深度的情况 下 比 VGG13 高出 3.03%;GoogLeNet16 引 入 了Inception 模块，其将多个不同尺度的卷积核(11，33，55)融合入 1 个模块，用更少的网络参数组成了结构更深的模型，其参数量比 VGG16 大幅下降，但在准确率上低 1.37%;esNet7 利用残差连接构成的残差块，有效加深网络深度并使模型更容易拟合，是本研究算法模型的结构基础，本研究使用 esNet18 和 esNet34 作为对照方法，分别取得了81.34%和 81.47%的准确率;本章的 SFN 方法在上述方 法 中 取 得 了 最 高 的 准 确 率 85.40%，相 对esnet18 高出了 4.08%，说明了道路区域特征提取的有效性。4.4混淆矩阵本节采用混淆矩阵(Confusion Matrix)来充分展示模型在每个天气分类上的准确率及误分类情况。图 6 展示了在道路天气数据集中分类准确率较高的 4个模型。由图 6 可知，晴天和阴天 2 分类普遍容易出现混淆，这是由于实际道路图像晴天场景和阴天场景较为相像，而 SFN 方法在晴阴 2 分类上的分类效果最好，由于模型有效地从道路区域提取具有区分性的特征，相较于其他模型，SFN 方法在雨天的识别率达到最高，这与模型在雨天道路上获取到水091第 5 期吕慈明，等:基于道路分割的道路天气识别方法研究渍以及车灯照在路上的反光现象等信息有关。总之，SFN 方法在每个分类上都能取得较好的效果，没有出现较明显的短板。4.5特征图可视化为了展示 SFN 方法所提取的全局图像以及道路区域的特征，本节采用卷积特征可视化的方法展示模型所提取到的特征。本研究采用 Grad-CAM+17 特征可视化方法呈现全局网络分支和道路网络分支最后一层卷积层输出的特征图。Grad-CAM+方法是基于 Grad-CAM 方法18 进一步改进的广义可视化方法，对卷积神经网络这类黑盒模型提供直观的视觉解释，将卷积特征图激活值对于真实标签的贡献程度经过计算后得到权重得分，并上采样形成热力图叠加至原始图像，热力图偏黑色的区域即为卷积特征更为关注的区域。如图 7 所示，图中的每一行表示其对应标签的天气图像卷积可视化效果展示，纵列由左到右分别是原始天气图像、全局网络分支特征可视化、道路网络分支特征可视化。由图 7 可看出，全局网络分支特征关注整个图像区域的特征，对天空、道路及路旁区域均有所关注，而道路网络分支特征集中关注道路区域里天气相关的特征。两者进行结合取得了优秀的分类效果。图 7SFN 全局网络分支与道路网络分支可视化Fig.7Visualization of overall and road networkbranches by SFN5结论本研究设计了一种结合语义分割模型提取道路区域特征的方法，并基于此构建了一种结合道路天气图像全局特征以及道路特征的道路分割融合网络SFN。识别过程由道路分割预处理、全局网络分支特征提取、道路网络分支特征提取以及特征融合分类组成。在试验分析中，首先在与其他几种卷积神经网络方法对比中验证了结合道路区域特征方法具有突出的分类准确率，通过全局网络分支和道路网络分支各自的关注区域，结合二者特征获取更多有效的天气特征。参考文献:eferences:1LEE J，LEE M I，AHN J B Importance of Ocean InitialConditions of Late Autumn on Winter Seasonal PredictionSkill in Atmosphere-land-ocean-sea Ice Coupled ForecastSystem J Climate Dynamics，2022，58(11/12):34273440 2李晓勇，刘宽宗，周祥华，等 基于轻量级卷积神经网络的天气现象识别研究 J 信息记录材料，2021，22(8):7880LI Xiao-yong，LIU Kuan-zong，ZHOU Xiang-hua，et alStudy on Weather Phenomena Identification Based onLightweightConvolutionalNeuralNetwork J Information ecording Materials，2021，22(8):7880 3XIE K，HUANG L，ZHANG W，et al A CNN-basedMulti-task Framework for Weather ecognition with Multi-scaleWeatherCues J ExpertSystemswithApplication，2022，198:116689 4侯慧蓉 基于特征选择的天气识别方法研究 D 长春:东北师范大学，2017HOU Hui-rong Study on Method for Weather ecognitionBased on Feature Selection D Changchun:NortheastNormal University，2017 5CODTS M，OMANM，AMOSS，etalTheCityscapesDatasetforSemanticUrbanSceneUnderstanding C/2016IEEEConferenceonComputer Vision and Pattern ecognition Las Vegas:IEEE，2016:32133223 6ZHOUB，ZHAOH，PUIGX，etalSemanticUnderstanding of Scenes through the ADE20K Dataset J International Journal of Computer Vision，2019，127(3):302321 7HE K，ZHANG X，EN S，et al Deep esidual Learningfor Image ecognition J 2016 IEEE Conference onComputer Vision and Pattern ecognition，Las Vegas:IEEE，2016:770778 8ZHAO H，SHI J，QI X，et al Pyramid Scene ParsingNetwork C/2017 IEEE Conference on ComputerVision and Pattern ecognition Honolulu:IEEE，2017:191公路交通科技第 40 卷28812890 9QIANG B，CHEN，ZHOU M，et al ConvolutionalNeural Networks-based Object Detection Algorithm byJointing Semantic Segmentation for Images J Sensors，2020，20(18):5080 10 王志红，王少博，颜莉蓉，等 基于语义分割模型的路面类型识别技术研究 J 公路交通科技，2021，38(1):128134WANG Zhi-hong，WANG Shao-bo，YAN Li-rong，et alPavementTypeecognitionBasedonSemanticSegmentationModel J JournalofHighwayandTransportationesearchandDevelopment，2021，38(1):128134 11 HE K，ZHANG X，EN S，et al Spatial Pyramid Poolingin Deep Convolutional Networks for Visual ecognition J IEEE Transactions on Pattern Analysis and MachineIntelligence，2015，37(9):19041916 12 ZHAO J，FANG Y，LI G ecurrence along Depth:DeepConvolutionalNeuralNetworkswithecurrentLayerAggregation C /35thConferenceonNeuralInformationProcessingSystems(NeurIPS)，VirtualConferenceSydney:NeuralInformationProcessingSystems Foundation，Inc，2021:11852 13 左杰格，柳晓鸣，蔡兵 基于图像分块与特征融合的户外图像天气识别 J 计算机科学，2022，49(3):197203ZUO Jie-ge，LIU Xiao-ming，CAI Bing Outdoor ImageWeather ecognition Based on Image Blocks and FeatureFusion J Computer Science，2022，49(3):197203 14 LU Z，WHALEN I，DHEBA Y，et al Multi-objectiveEvolutionaryDesignofDeepConvolutionalNeuralNetworks for Image Classification J IEEE Transactionson Evolutionary Computation，2021，25(2):277291 15 WU Z，HE S Improvement of the AlexNet Networks forLarge-scale ecognition Applications J Iranian Journalof Science and Technology，Transactions of ElectricalEngineering，2021，45(2):493503 16 HASSON Y，VAOL G，TZIONAS D，et al LearningJoint econstruction of Hands and Manipul