基于轻量化卷积神经网络的森林火灾烟雾检测算法.pdf

基于轻量化卷积神经网络的森林火灾烟雾检测算法魏云鹏，吴开志，俞子荣（南昌航空大学 信息工程学院，南昌330063）F1 摘要 现有的基于卷积神经网络的森林火灾烟雾检测算法，存在烟雾特征提取结构过于复杂、烟雾多尺度特征融合方法过于繁琐、计算复杂度大以及应用场景单一等问题，而且其部署所需硬件配置高且难以适应多变的森林环境，这阻碍了其在森林防火领域的实际应用。为此，设计了一种基于轻量化卷积神经网络的森林火灾烟雾检测算法。首先，为提高烟雾特征提取的能力和速度，基于重参数化技术与跨阶段局部网络，提出一种轻量化烟雾特征提取结构。其次，基于简化的特征金字塔网络和路径聚合网络，设计出轻量化烟雾多尺度特征融合方法，实现不同尺度烟雾特征的高效融合。然后，提出一种烟雾检测后处理方法并增加类似烟雾图像进行算法模型训练，避免不同应用场景中非火灾烟雾图像和类似烟雾图像对检测算法的影响。最后，采用本文构建的烟雾图像数据集对算法进行验证。实验结果表明，本文算法相对于其它算法具有较高的检测精度和速度，分数达 82.6%，AP 值达 54.5%，最高检测速度达 869 张/秒。关键词 森林火灾烟雾检测；卷积神经网络；模型轻量化；重参数化技术 中图分类号 TP391.41 文献标志码 A doi：10.3969/j.issn.2096-8566.2023.02.011 文章编号 2096-8566(2023)02-0089-12Forest Fire Smoke Detection Algorithm Based on LightweightConvolutional Neural NetworkWEI Yun-peng，WU Kai-zhi，YU Zi-rong（School of Information and Engineering,Nanchang Hangkong University,Nanchang 330063,China）Abstract:The forest fire smoke identification algorithm based on convolutional neural networks has some limitations,such as rathercomplicated smog feature extraction structure,tedious multi-scale feature fusion method,high computational complexity,limitedapplication scenarios,high hardware requirements and difficult to adapt to the changing forest environment,which limit itsapplication on the forest-fire prevention.To solve these problems,we proposed a lightweight convolutional neural network-basedalgorithm for detecting forest fire smoke.Firstly,based on re-parameterization technology and Cross Stage Partial Network,alightweight structure for extracting smoke features was proposed to enhance the efficiency and velocity of smoke feature extraction.Secondly,a lightweight multi-scale smoke feature fusion method was developed utilizing the simplified Feature Pyramid Networkand Path Aggregation Network to efficiently integrate smoke features across different scales.Then,a post-processing method forsmoke detection was proposed,which involved the addition of similar smoke images to train the algorithm model,to mitigate theimpact of non-fire smoke images and variations in application scenarios on detection accuracy.Finally,the algorithm was validatedusing the constructed smoke image dataset.The experimental results demonstrate that compared with other algorithms,the proposedalgorithm is more accurate and faster with F1 up to 82.6%,AP value up to 54.5%,and the maximum detection speed up to 869 收稿日期2022-12-22 修回日期2023-03-27基金项目江西省 03 专项及 5G 项目(20193ABC03A016)；南昌航空大学研究生创新专项(YC2019021)通讯作者吴开志(1981)，男，博士，副教授。主要研究方向：图像处理及应用，智能检测与控制。第 37 卷 第 2 期南昌航空大学学报：自然科学版Vol.37 No.22023 年 6 月Journal of Nanchang Hangkong University:Natural SciencesJun.2023 images per second.Key words:forest fire smoke detection；convolutional neural network；lightweight of model；re-parameterization technique 引言森林资源是国家宝贵的物质资源。森林火灾对森林有巨大破坏作用，据国家统计局数据显示，近 5 年来，我国平均每年发生森林火灾 2246 次，火场总面积 31 194 公顷，受害森林面积 13 813 公顷，伤亡人数 47 人，其它折损金额 11 100 万元1。森林火灾早期发现极其重要，如果任由其持续蔓延，将会对人类生命财产带来巨大损失。烟雾是森林火灾发生初期的重要特征，烟雾检测是森林火灾早期预警的一种重要方式。现有烟雾检测方法主要分为人工和非人工 2 种方式。人工方式有护林员巡逻、瞭望台观察、飞机巡护、实时视频监控等。这些检测方法存在效率低、成本高和难以推广等缺点。非人工方式主要通过算法自动对森林视频监控图像进行检测，具有检测范围广、成本适中等优点，当算法判定图像中存在烟雾时，将在第一时间产生预警信号并发送至森林消防等有关部门以便于快速对火灾信息进行甄别并确定对应的处置方案。目前烟雾检测算法主要有基于传统的图像检测方法和基于深度学习的图像检测方法 2 种类型。传统烟雾图像检测方法着重于手动设计烟雾特征提取方案，曹灿灿等2采用 HSV(即 Hue 色调、Saturation 饱和度、Brightness 明度)颜色空间进行烟雾候选区域的获取，而后经过高斯混合模型得到符合烟雾运动特征的区域，并检测该区域是否存在烟雾。LIN 等3采用多种局部二值模式在烟雾的不规则运动区域提取动态纹理特征，从而利用提取的特征判定是否存在烟雾。这些方法过分依赖于设计者经验，且提取的特征具有一定的局限性，检测效果较差4。基于深度学习卷积神经网络的方法注重自适应的烟雾特征提取，Muhammad等5提出一种可以区分雾天与正常环境下的烟雾分类算法，实现了雾天场景的烟雾检测。汪睿卿等6通过设计细节特征融合注意力模块，加强了卷积神经网络的高层特征图细节，增强了烟雾检测能力。这些方法具有鲁棒性高、适应性强、局限性小、检测效果好等优点，在烟雾检测领域有着众多运用7。尽管采用卷积神经网络对烟雾进行检测的算法取得了一定的进展，但为了获得更好的检测能力，研究者们通常采用不断加深的特征提取结构或者各种繁杂的多尺度特征融合方法，这导致了算法不断复杂化，部署所需硬件配置过高，难以实际应用，阻碍了其在森林防火领域的推广。为此本文基于一阶段目标检测算法框架结合轻量化卷积神经网络，设计了一种简单高效的森林火灾烟雾检测算法。该算法首先提出一种利用跨阶段局部网络结合重参数化卷积的轻量化烟雾特征提取结构，设计了两路分支分别进行烟雾特征提取。为减少计算量的同时保留原有烟雾特征信息，其中一路分支设计为恒等映射。另一路分支将算法训练阶段和推理阶段分离，以小计算量获取强烟雾细节特征表示能力，并将两路分支提取的特征进行融合以得到更加完善的烟雾特征表示。其次，利用重参数化卷积设计精简的特征金字塔网络和路径聚合网络，实现了烟雾不同尺度特征的快速融合，得到了精简的烟雾多尺度特征融合方法。然后，为避免算法对非火灾烟雾和类似烟雾的图像产生误报，针对森林中山民生活过程中产生的无害烟雾以及山区雾气、云彩等类似烟雾的特殊情况分别进行研究。其中，前者通过设置烟雾安全区域来处理非森林火灾烟雾误报的情况；针对后者，在森林火灾烟雾图像和无烟雾森林背景图像的基础上增加了类似烟雾的云和雾图像，构建了数据集并进行模型训练，使得算法可以智能区分烟雾和类似烟雾图像。最后，采用构建的森林火灾烟雾检测数据集对本文算法进行消融和对比实验。90 南昌航空大学学报：自然科学版第 37 卷 1 方法 1.1 烟雾特征提取结构nn卷积神经网络轻量化有 2 种方案：一是保证模型在原有精度的条件下，利用复杂度低的网络模块对算法进行重新设计；二是在推理时，采用重参数化技术将模型转换为更简单的网络结构。针对第一种方案，WANG8提出如图 1 所示的跨阶段局部网络(Cross Stage Partial Network，CSPNet)，将输入经过 2 次独立计算得到 2 个输出分支，其中一个分支利用计算块挖掘深度特征信息，另一分支采用恒等映射保留原有特征信息，接着融合 2 个分支的输出，产生不同的梯度组合，以增加网络的学习能力并减少算法复杂度。针对第二种方案，DING 等9提出了重参数化卷积(Re-parameterization Convolution，RepConv)方法，如图 2a、图 2b 所示。该方法与图 3所示的常用卷积块结构 Conv(卷积核大小描述为)不同，为获取更好的特征提取能力，其在训练阶段，将输入通过恒等连接、33 卷积层和 11 卷积层 3 个分支计算后，分别进行批量归一化(BatchNormalization，BN)10操作，接着将 3 个分支的输出进行逐元素求和，最后经过激活函数层得到结果，其中恒等连接分支仅当输入与输出通道维数相同并且卷积步长为 1 时有效。在推理阶段，该方法利用一系列恒等变换，将训练阶段的 3 个分支拓扑结构替换为单个 33 卷积层和激活函数层的组合，以保持原有特征提取能力并减少算法的计算复杂度。图 4 为 2 种不同特征提取结构对比图。如图 4a所示，结合上述 2 种轻量化设计方案，将输入通过2 个卷积核大小为 11 的 Conv(Conv_1 和 Conv_2)变换通道维数获得 2 个输出分支，并且将 RepConv与激活函数层以堆叠的方式设计计算块，接着在通道维将 2 个分支输出的特征图进行拼接，最后采用 11 的卷积块 Conv_3 进行特征图融合，得到跨阶段重参数化卷积结构(CSPRepConv)。为了提高算法计算效率，本文设计了如图 4b 所示的更加轻量化的结构 L-CSPRepConv，只保留用于融合操作的卷积 Conv_3，输入直接进入恒等变换支路和计算块支路，在完成特征提取的基础上实现了特征图通道数倍增操作。1.2 烟雾多尺度特征融合方法多尺度特征融合方法通常由特征金字塔网络(Feature pyramid networks，FPN)11和路径聚合网络(Path Aggregation Network，PAN)12构成。其中，FPN 特征金字塔网络将深层语义特征逐阶段融 输入部分 1部分 2计算块特征图融合输出 图 1 CSPNet 结构 输入批量归一化层批量归一化层批量归一化层激活函数层输出输出特征图逐元素相加(a)训练时结构(b)推理时结构激活函数层33卷积层33卷积层11卷积层输入 图 2 RepConv 结构 Conv卷积块输入卷积层批量归一化层激活函数层输出 图 3 Conv 结构 第 2 期魏云鹏，吴开志，俞子荣：基于轻量化卷积神经网络的森林火灾烟雾检测算法 91 合到浅层几何特征中，PAN 路径聚合网络将浅层几何特征逐阶段融合到深层语义特征中，与FPN 网络相互配合达到提高检测能力的目的。通常使用下采样或者上采样操作将需要融合到其它层的特征图转换到对应宽高大小，而后在通道维将需要融合的不同层次特征图进行拼接，再利用特征提取网络进行特征融合操作，最后降低特征图拼接后的通道维数得到输出。当前常用的特征提取网络以及降低通道维数的操作复杂度高，且性能较差，并不能满足快速、低成本的森林火灾烟雾检测需求。为此本文采用 RepConv 设计了精简的融合方法，如图 5 所示。直接对拼接后的不同尺度和层次的特征图进行特征融合及降低特征图通道数操作，提升网络计算效率。深层特征图较深层特征图较浅层特征图特征图融合输出特征图融合输出2 倍上采样2 倍下采样CCRepConvRepConv特征金字塔网络路径聚合网络预测结果预测结果预测结果特征图浅层特征图较浅层特征图较深层特征图 图 5 精简的烟雾多尺度特征融合方法 1.3 轻量化卷积神经网络的森林火灾烟雾检测算法以 YOLO(You Only Look Once)13-17系列为代表的一阶段目标检测方法是当前主流的实时目标检测算法。这一算法摒弃了利用全连接层分类的思想，直接利用卷积输出特征图上每一个点去预测附近物体的位置和置信度，使得算法计算并行度 输入11 Conv_111 Conv_211 Conv_311 Conv_3RepConvRepConvCCC输出(a)CSPRepConv 结构(b)L-CSPRepConv 结构特征图通道维拼接输出输入堆叠N次RepConvRepConv堆叠N次 图 4 2 种不同特征提取结构对比 92 南昌航空大学学报：自然科学版第 37 卷和检测速度大大提高。因此，本文借鉴 YOLO 检测算法思路，结合本文提出的轻量化烟雾特征提取结构和精简的烟雾多尺度特征融合方法设计了轻量化的森林火灾烟雾检测算法，算法整体框架如图 6 所示。整体分成 3 个部分：网络主干、网络颈部、网络头部。网络主干对森林火灾烟雾图像进行特征提取，这一部分决定了整个算法对烟雾图像的特征表示能力，并且占据算法大部分计算成本，影响整个算法的推理性能。网络颈部对主干网络提取的不同尺度特征进行融合操作，促进算法检测能力的提升。网络头部根据网络颈部的输出进行计算得到烟雾位置数据和烟雾置信度数据。网络主干网络颈部特征图特征图 2 倍上采样网络头部Stage_5Stage_4Stage_3Stage_2StemSPPFL-CSPRepConv_4Conv_3Conv_4Conv_5Conv_6UUCRepConv_5L-CSPRepConv_3RepConv_4RepConv_6RepConv_11RepConv_10RepConv_9RepConv_8UCCCRepConv_7L-CSPRepConv_2RepConv_3L-CSPRepConv_1RepConv_2RepConv_1烟雾图片预测图片数据后处理 图 6 本文算法整体框架 本文采用 L-CSPRepConv 和 RepConv 设计了五阶段逐层加深的网络主干结构，分别为茎部(Stem)、阶段 25(Stage_2-5)，从浅到深提取森林火灾烟雾特征。其中 Stem 阶段利用 RepConv 将森林火灾烟雾图像的初始特征图进行转换得到固定通道维数并且进行特征图高宽减半操作，Stage_2-4 阶段利用 RepConv 结合 L-CSPRepConv 分别将输入特征图进行宽高减半并且进行特征图通道维数倍增操作。Stage_5 相对于 Stage_2-4 增加了快速的特征金字塔池化(Spatial Pyramid Pooling-Fast,SPPF)模块，如图 7 所示。利用 2 个 Conv 与 3 个最大值池化层(MaxP)的结合实现扩大特征图感受野和加强深层特征图语义特征表达能力的目的。为平衡森林火灾烟雾检测精度和效率，采用前文提出的精简烟雾多尺度特征融合方法，将网络主干Stage_3-5 的输出特征图进行多尺度特征融合。针对网络头部，为了达到更高的计算效率，采用11 的 Conv 直接输出最终结果。通道维数也是影 第 2 期魏云鹏，吴开志，俞子荣：基于轻量化卷积神经网络的森林火灾烟雾检测算法 93 响算法效率的重要因素，现有算法为了获取更好的检测性能通常采用较大的通道维数，造成了网络复杂度增加。为此，本文针对各个结构的通道维数进行简化设计，得到了高效快速的森林火灾烟雾检测算法。具体参数设置如表 1 所示，S 表示卷积的步长，N 表示 L-CSPRepConv 中计算块的堆叠次数，K 表示卷积核大小。cx,cy,w,hrcx,rcy,rw,rh本文的森林火灾烟雾检测算法训练采用的损失函数由烟雾定位损失和烟雾置信度损失两部分组成。针对于定位损失，由真实的烟雾定位框信息结合预测的烟雾定位框信息计算得到。算法并不直接预测烟雾定位框中心点坐标及宽高()，而是输出目标框与锚框的相对值()，其计算如式（1）所示。cx=2sigmoid(rcx)0.5，cy=2sigmoid(rcy)0.5，w=(2sigmoid(rw)2anchorw，h=(2sigmoid(rh)2anchorh(1)anchorwanchorh式中，与分别表示预设锚框宽与高的大小。rcx,rcyrw,rh预 测 输 出 的 目 标 框 中 心 点 坐 标 相 对 值()经过 sigmoid函数映射到区间(0,1)，由于特征图上的每一个位置需要预测自身及周围 2 个点信息，所以得到的结果需要偏移到区间(0.5,1.5)。针 对 于 预 测 输 出 的 目 标 框 宽 高 相 对 值()在设计时已经假定最大为该位置锚框的4 倍，同样利用 sigmoid 函数映射到区间(0,1)，再映射到区间(0,4)。prebboxtargetbboxLossPos综 上，得 到 最 后 预 测 的 烟 雾 定 位 框 结 果，然 后 利 用 其 与 对 应 的 真 实 定 位 框计算 IoU 交并比差值并求平均，得到最后的定位损失，如式（2）所示。LossPos=mean(1IoU(prebbox,targetbbox)(2)objtrueobjpre针对于置信度损失，由于网络预测的烟雾定位框和真实的烟雾定位框之间存在差异，为了减小训练难度，本文结合预测定位框与真实定位框的交并比 IoU 作为烟雾真实置信度；接着将预测的烟雾置信度值经过 sigmoid 函数映射到区间(0,1)得到，再通过 BCE Loss 损失函数得到最终损失值，如式（3）所示。LossObji=objtruelog(objpre)(1objtrue)log(1objpre)LossObj=meanLossObj1,LossObjN(3)表 1 本文算法详细参数设置结构名称输入(通道数，高，宽)输出(通道数，高，宽)参数RepConv_13,640,64016,320,320S=2RepConv_216,320,32016,160,160S=2L-CSPRepConv_116,160,16032,160,160S=1,N=1RepConv_332,160,16032,80,80S=2L-CSPRepConv_232,80,8064,80,80S=1,N=1RepConv_464,80,8064,40,40S=2L-CSPRepConv_364,40,40128,40,40S=1,N=1RepConv_5128,40,40128,20,20S=2L-CSPRepConv_4128,20,20256,20,20S=1,N=1Conv_1256,20,20128,20,20K=1,S=1MaxP_1128,20,20128,20,20K=5,S=1MaxP_2128,20,20128,20,20K=5,S=1MaxP_3128,20,20128,20,20K=5,S=1Conv_2512,20,20256,20,20K=1,S=1Conv_3256,20,2064,20,20K=1,S=1RepConv_6192,40,4032,40,40K=3,S=1RepConv_796,80,8032,80,80K=3,S=1RepConv_832,80,8032,40,40K=3,S=2RepConv_964,40,4064,40,40K=3,S=1RepConv_1064,40,4064,20,20K=3,S=2RepConv_11128,20,20128,20,20K=3,S=1Conv_4128,20,206,20,20K=1,S=1Conv_564,40,406,40,40K=1,S=1Conv_632,80,806,80,80K=1,S=1 输入输出Conv_1Conv_2MaxP_1MaxP_2MaxP_3C 图 7 SPPF 特征金字塔池化结构 94 南昌航空大学学报：自然科学版第 37 卷结合定位损失和置信度损失可得到本文最终的多任务损失函数，如式（4）所示。Loss=1LossPos+2LossObj(4)1、2式中：为权重值，分别用于平衡定位损失和置信度损失。1.4 烟雾检测后处理方法tt由于森林附近区域常有零星村落存在，当地居民日常生活过程中会产生与森林火灾无关的烟雾，例如采用木材秸秆等生火并从烟囱排出的烟雾。该类烟雾与森林火灾产生的烟雾本质上并无区别，将会误导检测算法发出错误的火灾报警信息。为此，本文提出了一种烟雾检测后处理方法。首先，针对森林视频监控地点中可能产生正常烟雾的区域进行标记，如图 8 中的矩形框区域。其次，利用本文算法进行烟雾检测得到可疑烟雾区域。最后，如图 9 所示计算重合区域占检测的烟雾区域比例，当该比例小于设定的阈值 时则表示检测到的烟雾为非正常情况产生，则发送森林火灾预警信号至森林消防等部门，本文中设置 值为 0.5。图 8 安全烟雾区域 安全区域重合区域检测的烟雾区域 图 9 检测的烟雾区域与安全区域重合示意图 2 实验设计与结果分析 2.1 实验数据集为检验算法性能，本文基于现实场景构建了由森林火灾烟雾、无烟雾森林背景、类似烟雾的云和雾组成的图像数据集。其中有烟图像 13 868 张，雾和云等类似烟雾的图像 3276 张，无烟图像2250 张。各类别的部分图像如图 10 所示。实验采用 K 折交叉验证方式验证测试结果，为了平衡测试准确度和测试复杂度，设定 K 值为 5。所有数据分成 5 份，4 份作为训练，1 份作为测试。每一次实验的结果需要训练 5 次后求平均得到，实验中使用的数据如表 2 所示。2.2 实验环境和参数设置12在 Windows 10 系统上构建了 Pytorch 深度学习 环 境(python 3.6.10 +CUDA Toolkit V11.1 +CUDNN V8.0.4+torch 1.9.0)，所有实验结果皆是通过 NVIDIA GeForce RTX 3090 计算得到。训练过程中采用小批量梯度下降法(Mini-Batch GradientDescent,MSGD)对算法进行优化，分别设置学习率为 0.01 和动量参数为 0.937。为提升算法鲁棒性、增加训练数据，使用尺度变换、水平翻转、平移变换、色度(Hue)变换、饱和度(Saturation)变换和明度(Value)变换等数据增强方式。对于损失函数，分别设置值为 0.05、值为 1.0。2.3 评价标准TPFNTNFPF1F1分别从分类精度、定位精度、推理速度、硬件配置要求 4 个方面对算法性能进行评价。设(True Positive)为算法将烟雾图像预测为烟雾图像的情况、(False Negative)为算法将烟雾图像预测为非烟雾图像的情况、(True Negative)为算法将非烟雾图像预测为非烟雾图像的情况、(False Positive)为算法将非烟雾图像预测为烟雾图像的情况。由上可以得到算法的精确度(Precision)与召回率(Recall)，计算过程如式（5）所示。为综合展示算法分类精度，本文结合精确度与召回率作为评价指标，得到分数值，计算如式（6）所示，值越高表明算法分类能力越好。Precision=TPTP+FPRecall=TPTP+FN(5)第 2 期魏云鹏，吴开志，俞子荣：基于轻量化卷积神经网络的森林火灾烟雾检测算法 95 F1=2(PrecisionRecall)Precision+Recall(6)APAPAPAP0.5APAPAP0.5对于定位精度的检测，利用不同大小的交并比(Intersection over Union,IoU)评估是否检测到烟雾，然后使用平均精度(Average Precision,)进行衡量，按照式（7）进行计算。不同大小的 IoU 值可以得到不同的值。本文采用 2 种阈值方案，一种是 IoU 值为 0.5 得到的结果，记为；另一种是在 0.50.95 内每间隔 0.05 取一个 IoU 值，10 个 IoU 值得到的结果取平均值，记为。和值越大表明算法定位能力越高。AP=w10Precision(Recall)d(Recall)(7)FPSFPS1FPS16FPS对于算法推理速度的检测，本文采用实际每秒推理的帧速度(Frames Per Second,)进行评估。Pytorch 深度学习框架可利用 GPU 并行检测多张图像，使得推理速度得到提高。为进一步验证算法检测性能，分别采用 1 张(验证算法单张图像检测速度)和 16 张(验证算法多张图像并行检测速度)的图像进行推理计算，得到对应的每秒检测帧速度分别记为和，值越大表明算法推理速度越快。FLOPsParamsFLOPsParams本文采用正向推理的浮点计算量(FloatingPoint of Operations,)与算法参数量()结合的方法对部署算法所需的硬件配置进行评估。值越小则表明算法对硬件算力要求越小，值越小表明算法对硬件内存要求越小。2.4 结果分析 2.4.1 可视化检测结果图 11 为本文算法对有烟雾图像、类似烟雾图像、无烟图像的可视化检测结果展示图。其中矩形框和顶部数字分别表示预测的烟雾位置和概率。结果显示，本文算法可对烟雾图像进行精确定位和分类，在小尺度烟雾场景下同样能够获得精准 表 2 实验图像数据集情况类型图像数量/张目的有烟图像11 094训练有烟图像2774测试雾和云等类似烟雾图像2620训练雾和云等类似烟雾图像656测试无烟图像1800训练无烟图像450测试(a)森林火灾烟雾图像(b)类似烟雾图像(c)无烟雾森林背景图像 图 10 数据集的部分图像展示 96 南昌航空大学学报：自然科学版第 37 卷的检测结果，表明了本文提出的特征提取结构和多尺度特征融合方法的有效性。此外，图 11 中显示在极端情况下本文算法会出现将高亮水泥面(图 11c 第 5 张图)误检成烟雾或者将稀薄烟雾漏检(图 11a 第 5 张图)的不理想情况。这是由于卷积神经网络深层特征图中烟雾极小纹理特征的丢失以及稀薄烟雾的特征信息不突出导致的。图 12 为使用烟雾检测后处理方法前后的检测结果对比图。其中，图 12a 使用矩形框标注了烟雾安全区域；图 12b 与图 12c 分别表示使用烟雾检测后处理方法前后的检测结果对比情况，结果显示直接利用算法进行烟雾检测会导致村落中的无害烟雾误检为火灾烟雾，而使用本文提出的烟雾检测后处理方法可有效减少此类误报情况。(a)已设定的烟雾安全区域(b)使用烟雾检测后处理算法前的检测结果(c)使用烟雾检测后处理算法后的检测结果 图 12 使用烟雾检测后处理方法前后的检测结果示例 2.4.2 消融实验为验证本文烟雾特征提取结构和烟雾多尺度特征融合方法的有效性，设计了消融实验，将本文方法与其他结构和方法进行对比分析，实验结果如表 3 所示。结果表明，重参数化卷积(RepConv)相对于普通卷积块(Conv)，其 AP0.5值提高了 1.5%，AP 值提升了 4.3%，F1分数提升了 1.2%，并且推理速度不降反增，说明重参数化卷积提升了森林火灾烟雾检测性能并且提高了算法推理速度。采用重参数化卷积堆叠与跨阶段局部网络结合的方式(CSPRepConv)使得检测性能有较大的提升，相比于堆叠前的 RepConv，其 AP0.5值提高了 8%、AP 值(a)有烟雾图像检测结果(b)类似烟雾图像检测结果(c)无烟雾图像检测结果 图 11 本文算法可视化检测结果展示 第 2 期魏云鹏，吴开志，俞子荣：基于轻量化卷积神经网络的森林火灾烟雾检测算法 97 FPS1ParamsFLOPs提升了 11.2%、F1分数提升了 8.9%，但这造成了算法推理速度的下降和算法参数的增加。最后，本文设计的轻量化烟雾特征提取结构和精简的烟雾多尺 度 特 征 融 合 方 法，在 检 测 性 能 上，相 比 于CSPRepConv 的方式，F1分数、AP 值只有微弱的下降，而 AP0.5值提高了 0.4%，并且推理速度()增 加 了 13.2%，参 数 量()和 浮 点 计 算 量()分别减少了 20.0%和 20.6%。这说明本文提出的结构和方法可以有效提升森林火灾烟雾检测的效率和精度。2.4.3 对比实验为验证本文算法的有效性和优越性，将其和现有快速目标检测算法进行对比，包括 YOLOv5(r5.0)14、YOLOv5(r6.1)15、YOLOv6(r2.1)16、YOLOv7(r0.1)17。实验结果如表 4 所示，图 13 为数据对比的可视化结果。图 13a 表示算法参数量和性能的 表 3 消融实验结果烟雾特征提取结构烟雾多尺度融合方法图像大小F1/%AP/%AP0.5/%FPS1FPS16Params/MFLOPs/GConvFPN+PAN(Conv实现)64064072.939.473.52198710.61.7RepConvFPN+PAN(RepConv实现)64064074.143.775.02448760.71.9CSPRepConvFPN+PAN(CSPRepConv实现)64064083.054.983.01437991.53.4本文结构本文方法64064082.654.583.41628691.22.7 表 4 不同算法详细比较结果方法图像大小F1/%AP/%AP0.5/%FPS1FPS16Params/MFLOPs/GYOLOv5-S(r5.0)64064081.656.182.8834397.116.4YOLOv5-M(r5.0)64064081.858.383.75925621.150.4YOLOv5-N(r6.1)64064081.455.583.9937021.74.2YOLOv5-S(r6.1)64064082.256.884.5904497.015.8YOLOv6-N(r2.1)64064082.557.484.11227173.910.2YOLOv6-T(r2.1)64064084.258.085.51056288.722.9YOLOv7-Tiny(r0.1)64064077.250.178.01004936.013.1YOLOv7(r0.1)64064076.250.276.56216636.5103.0本文方法64064082.654.583.41628691.22.7 87YOLOv5-N(r6.1)YOLOv5-N(r6.1)YOLOv6-T(r2.1)YOLOv5-S(r6.1)YOLOv6-N(r2.1)YOLOv5-S(r5.0)YOLOv5-M(r5.0)YOLOv7(r0.1)YOLOv7-Tiny(r0.1)YOLOv6-T(r2.1)YOLOv5(r5.0)YOLOv5(r6.1)YOLOv6(r2.1)YOLOv7(r0.1)本文方法YOLOv5(r5.0)YOLOv5(r6.1)YOLOv6(r2.1)YOLOv7(r0.1)本文方法YOLOv5-S(r5.0)YOLOv6-N(r2.1)YOLOv7-Tiny(r0.1)YOLOv5-M(r5.0)YOLOv7(r0.1)YOLOv5-S(r6.1)8685848382AP0.5/%81807978777601020Params/MFPS1/帧30405050 60 70 80 90 10011012013014015016017087868584838281807978777576AP0.5/%(a)不同算法参数量和性能对比关系图(b)不同算法推理速度和性能对比关系图 图 13 不同算法的性能与参数量和推理速度关系图 98 南昌航空大学学报：自然科学版第 37 卷AP0.5FPS1AP0.5关系，横坐标为算法参数量大小，纵坐标为算法定位精度；图 13b 显示了算法推理速度和性能的关系，横坐标为算法推理速度，纵坐标与图 13a相同。其中 YOLOv5(r6.1)由于采用了 SPPF 并去除了 Focus 结构，相比于 YOLOv5(r5.0)具有更高的运行速度。YOLOv6(r2.1)由于采用了 RepConv结构检测性能相对其它算法有一定的提升，但算法参数量和浮点运算量较大。YOLOv7(r0.1)由于采用的 ELAN 结构过于复杂，不适合森林火灾烟雾的检测。本文提出的算法相对于其它算法有着更小的算法参数量和更快的运行速度，并且对森林火灾烟雾的检测能力与其他算法差异较小。相比于 YOLOv5N(r6.1)、YOLOv6N(r2.1)、YOLOv7Tiny(r0.1)的轻量化算法，本文算法可以在保证精度的情况下带来更高的检测帧率，并且算法参数量只有1.17 M。相比于YOLOv5S(r6.1)、YOLOv6T(r2.1)、YOLOv7(r0.1)检测算法，本文方法的值只比其中最高值小 2.1%，但是推理速度可达 869 张/秒。综上所述，本文提出的轻量化检测算法计算速度快、检测精度高，并且对硬件配置要求小。3 结束语本文提出轻量化的烟雾特征提取结构和烟雾多尺度特征融合方法，并由此构建了轻量化的森林火灾烟雾检测算法，而后设计一种烟雾检测后处理方法并增加类似烟雾图像进行算法模型训练，避免了复杂环境下非火灾烟雾图像和类似烟雾图像对检测算法的影响。结果表明，本文所提算法实现了快速准确的烟雾检测，平衡了检测精度、算法复杂度以及硬件配置需求，有效解决了当前算法所需算力大、硬件配置要求高、应用场景单一的问题。此外，由于普通卷积神经网络提取的特征缺乏烟雾细节纹理信息及烟雾动态特性，导致在复杂场景下出现烟雾误检和漏检情况，下一步将对烟雾的细节纹理信息和动态特征进行研究，进一步提升烟雾检测能力。【参考文献】中华人民共和国统计局.中国统计年鉴 EB/OL.2022-12-22.http:/ HSV 颜色空间特征的视频烟雾检测 J.计算机技术与发展,2022,32(5):171-175.2LIN G,ZHANG Y,ZHANG Q,et al.Smoke de