基于深度学习的森林火灾烟雾监测.pdf

年 月第 期林业资源管理 基于深度学习的森林火灾烟雾监测郑琰睿，杨林剑，李曙光，张永炬（浙江科技学院 自动化与电气工程学院，杭州 ；浙江伟星新型建材股份有限公司 智能制造中心，浙江 台州 ；台州学院 智能制造学院，浙江 台州 ）摘要：为了第一时间发现森林火灾，避免因森林火灾造成严重后果，提出以森林火灾烟雾为主要目标的检测模型 ，在 的基础上，引入 层，以减小特征提取过程中小目标特征缺失的问题。之后在检测头金字塔池化部分增加坐标准意力机制模块，通过将位置信息编码到通道中，增加了模型对目标的关注度，并且减少了背景对检测效果的干扰。最后，通过 矩形框损失函数，提高了预测框的回归速度与精度。在测试过程中，改进后的 较 模型 提高了 ，并减少了误检与漏检现象，证明 有着更好的特征提取能力与泛化能力，对森林火灾烟雾监测任务表现出色。关键词：；森林火灾烟雾监测；目标检测；深度学习；损失函数中图分类号：文献标识码：文章编号：（）：收稿日期：；修回日期：基金项目：浙江省基础公益研究计划项目“基于高灵敏光学弱磁探测的管道缺陷无损云检测系统应用基础研究”（）作者简介：郑琰睿（），男，山东烟台人，硕士研究生，主要研究方向：深度学习与图像处理。：通讯作者：李曙光（），男，浙江兰溪人，副教授，博士，主要研究方向：自动化检测技术与精密测量。：，（，；，；，）：，：，第 期郑琰睿等：基于深度学习的森林火灾烟雾监测森林作为地球上最大的陆地生态系统，是人类赖以生存的重要资源。森林的形成往往需要几十年甚至上百年的时间，但是林火却能在短短几天时间里破坏甚至摧毁一片森林，引发水土流失，间接诱发山洪、泥石流等自然灾害，燃烧产生的大量有毒有害气体也会对大气环境造成污染，加重温室效应。我国 年全年共发生森林火灾 起，受害森林面积约 万 。因此，对森林火灾的监测十分必要。传统的通过人工巡查和飞机巡查的方法对森林火灾进行排查的方式效率低下，费时费力，并且不能实时有效地监测森林情况。覃先林等 使用遥感采集数据，通过红光 近红外法、共生纹理矩阵法和相似度变换法完成了对森林火灾的监测，但是，遥感监测容易受到天气等因素的影响。张玲玲等 使用气溶胶激光雷达系统实现了对森林火灾的监测，但是监测效果容易受到光线折射作用的影响，监测范围也容易受到地形的限制。陈曦等 通过自动巡航监控小车，移动扫描附近温度以实现对森林火灾的监测，但该方法受地形影响严重，效率较低。随着硬件的迭代和算力的不断提升，深度学习得到了快速发展，在图像识别领域涌现了如视觉几何组网络（，）、残差神经网络（）、（）等优秀的卷积神经网络，因此，使用深度学习来处理森林火灾监测任务逐渐流行起来。张倩等 通过真实烟雾图像和森林背景合成，模拟森林火灾烟雾，最后使用快速基于区域的卷积神经网络（，）进行监测。等 采用 为基础模型，将原有的空间金字塔池化模块改进，并增加了卷积注意力机制模块（，）、小目标检测层和路径聚合网络（，）以提高对于小目标的监测效果，最后通过 迁 移 学 习 进 行 训 练，将 模 型 性 能 较 原 有 提高了 。皮骏等 为了网络的轻量化，使用轻量化网络 替换 中的骨干网络，并添加坐标注意力模块（，），提高监测目标的关注度，最后将 中原有的损失函数替换为 （）损失函数，以优化监测框的长宽比，将该模型部署在无人机上，完成对森林火灾的巡视监测任务。叶铭亮等 提出一种改进的 网络监测森林火灾，加入 近邻（，）注意力机制提高了对小噪声的识别，并使用数据增强扩大了原有的数据集，以此增加模型的泛化能力。等 提出了一种改进模型 ，将 骨干网络集成到掩膜基于神经区域的卷积神经网络（，）模型中，并将原有的特征金字塔网络（，）替换为 ，以此消除下采样融合的影响，最后和切片辅助超推理技术一起进行森林火灾的监测。上述研究在森林火灾监测中取得了一定的成果，但是应用场景存在不足，不能满足大范围实时监测的要求，并且数据集杂乱，无法反应真实应用场景下的表现。因此，本研究提出了 森林火灾烟雾监测算法，在传统 的基础上引入空对深卷积（），代替骨干网络的跨步卷积，增强小目标特征提取能力，并增加了坐标注意力机制。利用通道信息和坐标信息来提升模型对监测目标的关注度。由于 使用的 缺少对锚框质量的分析，容易导致低质量数据损害模型性能，因此，使用 （）进行替换。最后考虑到烟雾与背景的对比度较低，选择在输入端对图片进行 校正后再进行训练。该模型部署在高海拔、大视野的位置，对森林火灾初期产生的烟雾阶段进行实时监测，重点解决远处小目标烟雾以及低对比度肉眼难以区分的烟雾的监测任务。算法原理 由 等 于 年 月提出，相较于 网络，主要有以下几个方面的改变。在网络结构方面，针对 使用的 结构中存在过多的过渡层，导致在叠加块时最短梯度路径不断增加，使训练难度上升的问题，采用了高效层聚合网络 （，），通过适当删除过渡层来控制最短梯度路径，改善了网络表现。在推理阶段，为了提高模型的性能和推理速度，使用了在 上表现出色的 ，即在推理时利用结构重参数化思想，去除了其中的本体特征连接，以保证残差结构林业资源管理第 期和跨层连接的完整性。在头的部分，提出了一种新的标签分配方法以引导头的预测，生成从粗到细的分层标签，用于辅助头和引导头的学习。虽然这些改进有效提升了 的网络性能，但是其在小目标监测任务中还存在许多不足。为此，本研究在 网络的基础上提出了 网络，以更好地解决森林火灾烟雾监测任务。如图 所示，结构主要由输入层、骨干网络与头部网络构成，图片首先在输入层通过数据增强处理成尺寸相同的图片，传入骨干网络，经过 （）模块提取图像特征并改变通道数。随后在 模块通过对像素分割融合的方式完成下采样操作，在减小特征图大小的同时尽可能地保留图像信息，之后在 模块中，通过卷积的堆叠进一步提取特征，并且设计了残差结构，以防止大量卷积堆叠导致网络出现退化现象。每个 模块后面都跟随一个最大池化模块（，），通过最大池化和跨步卷积，完成下采样操作，减少特征图的参数量。在头部网络，分别从骨干网络的中层、中下层和下层引出对应特征图，经过融合处理，得到 种不同尺寸的特征图，送入监测头进行监测。图 结构 校正由于远处的烟雾在靠近云层或者天空时与背景颜色较为接近，导致对比度较低，难以进行很好的区分，为此，在图片输入时，使用公式（）对其进行 校正。()（）式中：当 时，如图 中蓝色曲线所示，像素值在 ，的低亮度区域像素值扩大到了 ，附近，使低亮度区域的对比度增加，高亮度区域的对比度减少，如图（）所示，图片整体变亮使原本较暗的地面区域能看到更多的细节，而原本较亮的云层区域由于过度曝光，反而丢失了许多细节；当 时，如图 中红色曲线所示，在 ，的高亮度区域被扩大到 ，附近，使高亮度部分的对比度增加，低亮度部分的对比度降低，如图 （）所示，原本较亮的远处烟雾更加明显地从背景中凸显出来。第 期郑琰睿等：基于深度学习的森林火灾烟雾监测图 校正 图 不同 校正结果 空对深卷积在图像处理等方面的任务中，卷积神经网络取得了优秀的表现，但是在面对低分辨率或者监测目标的像素点较少的任务中却显得吃力。因为在卷积神经网络中，通过不断地使用跨步卷积和最大池化操作提取特征降低参数的过程中，图片的细粒度信息会丢失，从而无法提取小目标特征。因此，本研究引入了 替换骨干网络部分的跨步卷积和相应的池化层 。通过对像素分割融合的方式代替下采样操作，在增加通道的同时，减少特征图尺寸，将小目标特征最大程度保留在了通道中，以此增加小目标监测能力。由 层和一个 卷积构成，当一张任意大小的 的中间特征图代替步长为 的卷积时，按照公式（）进行分割。，（），式中：，是原始特征 的 个子映射。当 为 时，分割过程如图 所示。注：代表融合操作；代表卷积操作。图 时 图示 林业资源管理第 期图 （）代表一张长宽为 、通道数为 的中间特征图，通过分割和融合 图 （），将其转换成了特征图 （，）；随后，进行一次非跨步卷积 图 （），将其通道数 转变为。这种操作在减少参数的同时，尽可能保留了图片的信息，因此有利于对小目标的监测。在模型训练过程中，预测框和真实框总是存在一定的偏差，为了使预测框不断地向真实框靠近，需要使用矩形框损失函数通过惩罚机制来引导回归，传统矩形框损失函数只考虑将交并比作为惩罚依据，即预测框与真实框的交集与并集之比，但这种方法在预测框与真实框不相交时便失去了作用。而 使用的 综合考虑了预测框与真实框的交并比、中心点距离、长宽比，使其能满足大部分情况下的使用条件，但缺点是其长宽比是相对值且未考虑低质量样本对模型泛化能力的影响。一味地将预测框向低质量的标注回归必然会损害模型的性能，因此，在本研究中引入了 损失函数代替原有的损失函数，其在 的基础上考虑了样本质量问题，提出了动态非单调聚焦机制，采用离群度代替交并比（）对锚框进行调节，并采用梯度增益分配策略，使得在调节过程中同时降低了高质量和低质量锚框的影响力，使普通质量锚框的影响力扩大 ，从而减少了低质量标注对模型性能的损害，增强了模型的泛化能力，公式如式（）式（）所示。，（）（）（）（）（）锚框的质量通过离群度 定义：，）（）式中：为中心点连接的归一化长度；为单调聚焦系数；为动量等于 时 的滑动平均值；与 为设定超参数；当 时，当 等于特定值 时，锚框会获得最高的梯度增益。随着 的变化而变化，因此锚框的梯度增益是不断调整的，从而使损失函数能根据当前的锚框质量动态调整梯度增益分配策略。但对于低质量的锚框，总是以最小的梯度增益并不利于提高整体网络的性能。因此，在训练初期，通过设置动量 来调整 的计算标准，以达到在训练早期不对低质量锚框做过多约束的目的，而在训练的中后期，则降低低质量锚框的梯度增益，使网络达到最高的性能。动量设置根据式（）取值。槡 ，（）式中：为训练的 。经过 轮训练后，（），实现了在训练初期 经过一定延迟后，逐渐达到真实的 的目标。坐标注意力机制在一副图像中，需要监测的目标往往只占据整体的一小部分，在监测过程中计算整体图像信息会造成大量计算资源的浪费。为此，引入了坐标注意力机制 ，将图像位置信息映射到特征通道中，并建立通道依赖关系以增强网络对监测目标的关注，并降低对其他信息的关注，从而充分利用计算资源提高监测效率与准确率，结构图如图 所示。图 坐标注意力机制结构 第 期郑琰睿等：基于深度学习的森林火灾烟雾监测如图 可知，中间特征图分别经过垂直方向和水平方向的一维全局池化操作后，得到两张方向感知特征图，使得位置信息得到了保留。具体操作分为坐标信息嵌入和坐标注意力生成两个步骤。坐标信息嵌入首先，将全局池化按照公式（）分解为垂直方向和水平方向的一维特征编码。（，）（）式中：表示第 个通道的输出；表示第 个通道的输入；和 代表池化核尺寸。上述公式可以视为使用尺寸为（，）或（，）的池化核，分别沿水平坐标和垂直坐标对通道进行编码。因此，第 通道的高度和宽度编码可表示为：()（，）（）()（，）（）式中：代表高度为 的第 个通道输出；代表宽度为 的第 个通道的输出。该变换得到两张方向感知特征图，使得位置信息得到了保留，有利于网络将兴趣聚焦于目标上。坐标注意力机制生成特征图经过信息嵌入操作处理后，使用 方法进行特征融合，之后，使用式（）式（）卷积变换函数对其进行变换操作：（，）（）（）（）（）（）式中：是非线性激活函数；为编码空间信息的中间特征图；为 函数，与 为经过 卷积变换与激活函数后的输出。经过该转换后，不仅能有效提取通道信息，还能充分利用位置信息，使得网络能更好地定位到感兴趣区域，最后该模块的输出公式如式（）所示。，()（，）（）（）（）式中：为最终输出特征；为原始输入特征；与 为纵横方向的注意力权重。实验环境与数据 实验运行环境与相关参数本实验操作平台为 ，为 核，为 （），内存，深度学习框架 ，解释器版本 ，计算架构为 。训练轮数 ，初始学习率 ，学习动量 ，权值衰减 ，批量大小 。实验数据集本实验数据集采用 与 （）联合发布的野外火灾烟雾数据集，包含 张由气象塔收集的大小为 分辨率的野外火灾图片，以 的比例划分并统一缩放为 分辨率，分别用于训练、验证和测试（图 ）。图 数据集示例 实验结果与分析 评价指标本实验从精确率（）、召回率（）、平均精度均值（）和 曲线来评价模型的性能，各部分公式如下：（）（）林业资源管理第 期 （）（）式中：为正样本预测正确的个数；为正样本预测错误的个数（实际为负样本）；为负样本预测错误的个数（实际为正样本）；因此 （精确率）表示所有预测为正样本的数据中，预测正确的比例；（召回率）表示所有的正样本被预测出来的比例。表示对不同召回率点上的精确率求平均，可通过求 曲线的面积实现；为模型所有类别的 均值，本实验类别数量为 ，因此 与 值相等。消融实验为了证明模型改进的有效性与各部分改进对模型的影响，设计消融实验，如表 所示。表 消融实验结果 序号 精度 召回率 （）从结果来看，原始 模型 （）为 ，效果并不理想，将 校正单独加入数据输入端后，较原始模型提升了 ，将骨干网络上层部分的跨步卷积替换为 后，较原始模型提升了 ；在头部网络前端加入坐标注意力机制后，较原始模型提升了 ；将 损失函数单独加入模型后，下降了 。虽然单独加入 损失函数导致模型的性能下降，但是将 校正、坐标注意力机制同时加入模型后，提升了 ，而在此基础上，再将 损失函数加入后，模型的 达到了 ，较原始模型提升了 。损失函数对比实验为了进一步证明本研究采用的损失函数对模型性能提升的有效性，将对 原本采用的损失函数 与应用较为广泛的损失函数 以及本研究采用的损失函数 进行对比试验。如图 所示，在 的基础上分别使用 种不同损失函数的 曲线，其中黑、红、蓝 种颜色分别代表使用 ，的情况。从图 中可以看出，在模型训练的后期，种模型的 均趋于稳定，但使用 作为其损失函数的模型，在训练的中后期，高于其他两种模型，并且波动性也小幅降低。图 种损失函数模型的 变化曲线 无论是 ，还是 ，其作用都是使预测框不断地朝真实框靠近，因此越快的收敛速度与越小的预测误差反应了损失函数的有效性。训练过程中，种模型的定位损失收敛曲线如图 所示。第 期郑琰睿等：基于深度学习的森林火灾烟雾监测从图 中可以看出，在训练的末尾，条曲线的梯度均趋近于 ，使用 与 作为其损失函数的模型性能均远高于 。在训练的前期，的收敛速度高于 ，并且在训练后期，其损失值均小于其余两种模型，所以使用 作为模型的矩形框损失函数，能够为模型带来有效的性能提升。图 种损失函数模型定位损失收敛曲线 注意力机制对比实验为了验证注意力机制对模型性能的影响，选取了使用广泛的 （）注意力机制 与本研究使用的坐标注意力机制进行对比实验，从 变化曲线与定位损失收敛曲线两个方面进行比较。图 为在 的基础上，移除注意力机制模型与分别加入 注意力机制、坐标注意力机制模型的 变化曲线。图 为 种模型的定位损失收敛曲线。从图 中可以看出，添加了 注意力机制的模型的 有小幅的提升，而添加了坐标注意力机制的模型无论从收敛速度上还是最终精度上看，均有较大的提升。从图 可以看出，在训练后期，种模型的定位损失梯度均趋近于 ，添加了 注意力机制的模型的最终损失值小于没有注意力机制的模型，但在训练前期有较大的波动；添加了坐标注意力机制的模型，在训练中达到的损失值最小，并且整体稳定波动较小，前期收敛速度也高于前两种模型。由此可以看出，坐标注意力机制能够有效提升模型的性能。图 不同注意力机制模型 变化曲线 图 不同注意力机制模型定位损失收敛曲线 与原网络对比实验固定阈值下的精确率与召回率并不能全面地反应模型的性能，而 曲线反应的是不同阈值下对应的精确率与召回率，因此，对比 曲线的整体 表 现，能 更 好 地 评 估 模 型 的 性 能，原 本 模型与改进后的 模型的 曲线如图 所示。从图中可以看出，当召回率在 附近时，两种模型的精确率均为 ；当召林业资源管理第 期回率在 附近时，模型精确率依旧为 ，而原模型精确率下降为 左右；在整体召回率坐标上，改进后模型均高于原始模型，证明了本研究算法的有效性。为了更加直观地展示改进后模型的性能，将原始图像（图 ）与 （图 ）、（图 ）的实际监测效果做对比。从图 （）可以看出，原 模型将远处的云雾和山脉错误地识别成了烟雾，造成了误检，而图 （）中，改进后的 则没有发生误检的情况。从图 （）可以看出，对于远处地平线与蓝天交界处的烟雾和比较稀薄的烟雾，由于和背景对比度较低，目标较小，原 模型并没有监测出来，而图 （）中，改进后的 则成功监测出来了。图 模型 曲线 图 原始图像标签 图 检测效果 第 期郑琰睿等：基于深度学习的森林火灾烟雾监测图 检测效果 结论针对森林火灾前期烟雾在距离监测点较远、目标较小，且受天空云雾影响，目标与背景对比度较低，难以检测的问题，设计了一种基于 的模型改进算法 。通过 校正，改善原始图像对比度，增强模型提取特征的能力，针对小目标特征容易丢失的问题，使用 对特征图重组并代替跨步卷积，最大程度上保留了小目标特征。为了进一步降低背景的干扰，引入坐标注意力机制，通过对通道信息和位置信息的处理，使模型监测更加聚焦于目标。最后，考虑到原始数据集存在标注图片质量不平均的问题，引入了 损失函数，代替原有的 损失函数，滤掉高质量锚框和低质量锚框，从而使模型的泛化能力更强。实验结果表明，改进后网络模型的性能得到了较大的提升，能有效监测出森林火灾前期烟雾，对预防森林火灾，避免因疏漏而产生较大灾害提供了有效帮助。参考文献：白夜，王博，武英达，等 年全球森林火灾综述 消防科学与技术，（）：覃先林，陈尔学，李增元，等 基于 数据的森林覆盖变化监测方法研究 遥感技术与应用，（）：张玲玲，邱建文，王文江 气溶胶激光雷达在森林防火中的应用 焦作大学学报，（）：陈曦，刘和剑 自动巡航森林火灾检测小车的设计 绿色科技，（）：，（），：，（），：，（），：，：，（），：张倩，周平平，王公堂，等 基于合成图像的 森林火灾烟雾检测 山东师范大学学报：自然科学版，（）：，（）：皮骏，刘宇恒，李久昊 基于 的轻量化森林火灾检测算法研究 图学学报，（）：叶铭亮，周慧英，李建军 基于改进 的森林火灾检测算法 中南林业科技大学学报，（）：，：，（）：，：（）：，：，林业资源管理第 期 （）：，：，（）：，：，：（），：，：（）：，：，（）：，：（）：，：，（），：，（），：，：