基于深度学习的林火烟雾识别系统设计.pdf

36Aug.20232023年8 月CENTRAL SOUTH FORESTINVENTORY AND PLANNINGVol.42 No.3第42 卷第3期中南林业调查规划基于深度学习的林火烟雾识别系统设计李梓铭,石振威,徐海文,龙骏，朱勇兵,周国雄？（1.湖南森林草原防火监测调度评估中心，湖南长沙4310 0 7；2.中南林业科技大学，湖南长沙4310 18)摘要：通过构建林火烟雾数据集，选取InceptionV3模型，基于参数的迁移学习方法构建林火烟雾图像训练模型，经过训练测试后得到模型在测试数据集识别率达到92%，最后运用Python语言编程将训练后保存下来的模型文件应用到林火烟雾视频上，对视频进行逐顿预测，并将预测结果可视化注释在视频上，达到视频监控的目的。将网络训练和视频监控分开，通过软件编程实现应用模型文件监测林火烟雾视频，较以往直接通过视频训练和预测的方法更方便快捷，实际可操作性更强，具有广泛的应用前景。关键词：林火烟雾识别系统；深度学习；卷积神经网络；InceptionV3；Py t h o n中图分类号：S757文献标识码：A文章编号：10 0 3-6 0 7 5（2 0 2 3）0 3-0 0 36-0 5D0I:10.16166/43-1095.2023.03.009Design of a Deep Learning-Based Smoking Recognition System forForest FiresLI Ziming,SHI Zhenwei,XU Haiwen,LONG Jun,ZHU Yongbing,ZHOU Guoxiong(1.Hunan Forest and Grassland Fire Monitoring,Dispatchand Evaluation Center,Changsha 431007,Hunan,China;2.Central South Forestry University of Science and Technology,Changsha 431018,Hunan,China)Abstract:By constructing a forest fire smoke dataset,selecting the Inception V3 model,a forest fire smokeimage training model based on the parameter migration learning method was obtained.A model that achieved arecognition rate of 92%in the test dataset.Finally,Python language programming is used to implement theapplication of the saved model file after training to the forest fire smoke video,and to predict the video frame byframe,and to annotate the prediction results visually on the video in order to achieve the purpose of videomonitoring.It is more convenient and quicker than the previous method of training and prediction directlythrough video to separate the network training and video monitoring,and realize the application of model files tomonitor the forest fire smoke video through software programming,which is more practicable and has a wideapplication prospect.Key words:forest fire smoke recognition system;deep learning;convolutional neural network;Inception V3;python森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。近5 年来，全球范围内森林火灾的频发，对环境保护、社会经济发展、生态系统等产生不可逆转的负面影响1-2 。森林火灾的表现形式*收稿日期：2 0 2 3-0 8-0 2作者简介：李梓铭（198 9一），男，湖南郴州人，博士研究生，工程师，主要从事森林火灾监测预警与灾后评估工作。E-mail：。37第42 卷2023年第3期李梓铭，等：基于深度学习的林火烟雾识别系统设计与其他火灾不同，受复杂的地势结构影响，火灾情况会不断变化，森林火灾的燃烧呈现多层次的特点，一旦发生便很难控制，处置救助更为困难，造成的损害更严重。目前，国内外针对森林火灾的监控大都处于人工巡逻和人工视频监视的阶段。人工巡逻具有时间和空间的局限性，对于夜间和地势危险的地段不能进行长时有效的监控；人工视频监视则受限于监控设备的监控范围和人工视觉疲劳等因素，而不能达到很好的监控效果。近年来，受益于人工智能的兴起，图像识别技术应用越来越广。图像识别技术是人工智能的一个重要领域，有着重要的应用价值和研究价值，例如，天气预报、环境监测、生理病变、地图与地形配准、自然资源分析、导航研究等【3。因此，基于视频图像的森林火灾烟雾视觉识别技术在林火烟雾识别监控方面有着无法比拟的优势。为了满足对林火烟雾进行高效率识别的需求，研究人员使用多种图像识别算法对林火烟雾图像进行检测识别4-。袁雯雯等8 提出基于改进高斯混合模型(Gaussian Mixture Model,GMM)的林火烟雾识别算法，但改进的高斯混合模型算法仍不能很好地识别出烟雾的全部形状。贾洁等9 人在支持向量机的基础上，使用一种以最小二乘支持向量机为基础识别算法，应用在烟雾监测视频上。在实际环境中，林火烟雾的识别准确率容易受到天气、地势和光照等外界因素的影响，早期的林火烟雾识别利用火灾早期烟雾的形状、纹理、颜色和运动特性进行提取和识别10 ，但火灾烟雾的颜色和运动轨迹会因为光照和风力的影响而发生改变-15 。这些外界条件在很大程度上限制了林火烟雾图像特征的有效提取，影响识别的准确率。烟雾蔓延的过程中，烟雾的纹理和形状特征也会不同，这在一定程度上加大了识别的难度，因此需要更好的识别算法来解决上述问题。卷积神经网络的发现来自仿生学，源自生物的视觉神经系统，能够进行表征学习，是主要针对二维形状的识别而设计的一种多层感知器【16 。相较于普通的神经网络来说，它的网络结构更复杂，网络层更多且都是由多个独立神经元组成的二维平面17 。常用的卷积神经网络的结构如图1所示。：数据集卷积+线性数据集日口口卷积+线性扁平化全连接归一化输入特征学习分类图1卷积神经网络结构本文针对不同环境、不同背景下、不同强度森林火灾的问题，分别对正常情况、着火前和着火进行研究。提出基于InceptionV3网络的林火烟雾识别系统设计，利用卷积神经网络训练得到精确度较高的模型执行预测，以期将深度学习、卷积神经网络、顿差法视频图像与背景分割算法更好地应用于林火烟雾识别。1数据来源与研究方法实验软件为Windows10下的TensorFlow1.5.1平台，硬件平台包括计算机处理器IntelCorei5-10210u、四核八线程、主频率1.6 GHz、运行内存8 GiB等。1.1数据来源本文使用的数据集包括30 0 0 张图片，2 0 个视频，其中正常、开始着火、着火的图像样本各10 0 0 张，图像大小任意，输人网络后归一化处理为2 2 42 2 4px。1.2研究方法近年来，卷积神经网络快速发展，其在图像识别检测方面有着十分优秀的表现18-2 0 。本文基于卷积神经网络模型来检测图像或视频中的刚开始发生或已发生一段时间的森林火灾，将不同结构的数据类型放人卷积神经网络中进行处理，对深度学习模型实现了很好的计算支持特1-2 。对于林火烟雾图像来说，卷积382023年第3期中南林业调查规划第42 卷核从数学角度看是一个权值矩阵（33或5 5），一般情况下，网络的性能是由卷积核大小来决定。在5 5的原图上选取一个33的区域，每次移动一格，那么输出就是33的矩阵。这个一格就是步长，原图经过卷积运算后，所得尺寸可利用公式（1）计算：N/-12+1(1)式中：为卷积核尺寸，1为网络层数，S为步长，N为输出尺寸。常见的卷积计算公式如式（2）月所示：*=(ZieM1-1 Kernel,+Bl)(2)式中：x为输出特征图，l为网络层数，（）为激活函数，M,为输人特征图，以一1为被卷积核卷的特征图，j为特征图数量，i是指第j个特征图中的特征向量，Kernel为卷积核，Bl是偏置。其中可以有不相同的特征图的卷积核，每一个卷积层都有唯一的偏移B。由式（2）可知，卷积层具有偏移不变的特性，是因为卷积层有一个重要作用，就是选择不同的前一层特征图的不同特征。采用卷积神经网络对林火烟雾数据集进行训练。从正常、开始着火、着火的三类数据图像中各随机抽取30 张图像作为测试样本，在训练过程中发现网络对开始着火的图像不容易分类，因此增加了10 张开始着火测试图像，最终得到10 0 张测试集图像。训练步骤如下：步骤一：将图像转化成png格式，并将输人图像统一设置为2 2 42 2 4px大小；步骤二：制作数据集；步骤三：从基于InceptionV3的模型中进行迁移学习，搭建适合本次实验的模型，迁移后模型不具有InceptionV3模型的顶层，池化层更改为Sigmoid激活函数，最后的输出层使用softmax激活函数进行分类。步骤四：对搭建后的模型进行重新训练，寻找适合本次实验的训练参数，最终得到最优的训练参数，如下表1所示。表1模型训练优化参数训练基础学习率学习率变化规律最大选代次数参数(base_lr)(lr_policy)(max_Iteration)最优值0.01Sigmoid15 0002研究内容2.1数据集构建1）数据采集。本文基于林火烟雾识别任务，建立基于卷积神经网络的数据集。数据集采用TensorFlow深度学习工具的数据集建立方案，该数据集包含着火（fire），数量10 0 0；着火前（start_fire），数量10 0 0；正常（no_fire），数量10 0 0；测试视频，数量2 0；总计30 2 0。这些图像或视频的背景主要是森林或者类似森林的环境。标有“着火”的图像有可见的火焰，标有“着火前”的图像包含火灾起始前的烟雾，标有“正常”的图片是以森林为背景的正常环境下的图像。在收集到轮廓正常、图片清晰的数据后，为了减小卷积神经网络的过拟合，本文使用了Keras提供的数据增强功能，对图像进行扩充（旋转、平移、修剪和缩放），然后使用卷积神经网络训练。2）数据预处理。基于深度学习图像识别，在大量的数据集时，为了更突出效果，卷积神经网络可进行深度学习，是目前在“感知”问题上最好的模型之一；在数据集小的情况下，网络也能把特征学习得不错，但也很容易出现过拟合现象。为了在有限的训练数据基础上得到较好的识别效果，通过随机变换数据集，保留数据特征的同时扩大数据集，这样有效解决了过拟合现象，提高了模型的泛化能力。本文使用Keras 中 keras.preprocessing.image.ImageGenerator 模块来实现数据的预处理，对图像进行旋转、平移、修剪和缩放来提升数据集。3）旋转。图像旋转，即将图像按照逆时针或者顺时针的方向随机旋转一定的角度。本文从图像的左上角开始沿着逆时针方向旋转90 进行处理。4）平移。图像平移，即将图片沿着垂直或者水平方向平移。本文将图片沿着水平方向平移。5）修剪。图像修剪，即将原有图像从某个坐标位置开始按照一定方向进行裁剪。本文从图像的左上角沿对角线向右下角方向进行裁剪。6）缩放。图像缩放，即将原有的图像按照一定的缩放系数进行放大或者缩小处理。本文按0.5 倍对图像进行小处理。3结果3.1基于卷积神经网络模型的分类结果与分析卷积神经网络模型进行识别的训练结果如图2 所39(b)训练损失权重随送代次数变化621050001000015000Iterations8outputlossvs.Iterations2023年第3期第42 卷李梓铭，等：基于深度学习的林火烟雾识别系统设计示。从图2（a）可知，在训练过程中，在迭代次数（It e r a t i o n s）达到40 0 0 次时，模型对林火烟雾图像识别的准确率（Testaccuracy）达到0.92；迭代次数达到6 0 0 0 次时准确率趋于稳定，该准确率能够满足在不同环境下应用的要求。从图2（b）中可以发现，在迭代次数达到30 0 0 次时损失权重基本接近0；送代次数达到6 0 0 0 次时，损失权重曲线基本与X轴重合；迭代15 0 0 0 次后终止训练。应用基于参数的迁移学习，对本次设计进行改进，在保证识别准确率的基础上，提高了网络的时效，增强了网络的可操作性。outputaccuracyvs.Iterations0.80.60.40.2050001000015000Iterationsa)训练识别准确率随送代次数变化图2卷积神经网络模型进行识别的训练结果3.2视频识别模块识别结果对视频进行火灾检测，因为火灾的“静态”性质及其形态的缓慢发展，使后续的和前顿有些相似，若是对整个视频进行检测，既耗时又加重了检测设备的运行负担，在大规模的应用时这一问题更加明显。为了提高视频的检测效率，降低设备的运行负担，本文不对视频的所有顿进行检测，而是运用Python语言编写了一个模块。该模块对输人的林火烟雾视频进行视频顿提取，并且应用上述优化后的训练模型对提取的视频帧进行预测，保存预测结果，然后将当前顿之前的视频顿的预测结果注释到当前顿上，以此类推，完成对该视频的注释。该模块的输出是注释后的视频段，预测的结果为：无火时的视频帧预测结果为10 0%，着火时的视频帧预测结果为99.97%，着火前（烟雾）的视频帧预测结果为95.7 8%。4结论视频背景的干扰原因使图像识别效率很难达到理想值，但卷积神经网络与传统图像识别方法相比，在图像识别和检测方面具有更强的提取能力，在识别率和时间效率上也有着明显的优势。本文选取预测结果中的典型例子，能够反映出所有预测结果的特点。正常情况下的视频帧和着火时视频顿的预测结果相对较高，着火前（烟雾）的图像预测结果相对较低，经过研究后发现可能是因为在本次收集的数据集中，着火前的烟雾图像和着火图像容易混淆。这是因为，通常森林火灾发生时，从着火前到着火这一期间的时间间隔很短，在着火的同时会伴随着大量的烟雾，在训练过程中，这两类的预测结果由此被影响。因此，合并着火前和着火这两个阶段的数据集有助于提高森林火灾预测结果的准确率，降低重大森林火灾发生的概率，减少森林火灾造成的损失。参考文献：1】徐海文，石振威.基于卫星影像AI判读林草火灾变化图斑实现方法J森林防火，2 0 2 2，40（2）：13-16.2龙骏，谢杰，岳超，等湖南省草原防火工作存在的问题与对策探讨J中南林业调查规划，2 0 2 2，41（2）：9-12.3圣文顺，孙艳文卷积神经网络在图像识别中的应用J软件工程，2 0 19,2 2（2)：13-16.4】祖鑫萍，李丹基于无人机图像和改进YOLOv3SPP算法的森林火灾烟雾识别方法J林业工程学报，2 0 2 2，7（5）：142-149.5 YUAN F.A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost forvideo smoke detection J.Pattem Recognition,2012,45(12):4326-4336.6 Kim K,Chalidabhongse T H,Harwood D,et al.Real-timeforeground-background segmentation using codebook model J.Real-Time Imaging,2004,11(3):172-185.7 ZHANG Q,LIN G,ZHANGY,et al.Wildland Forest FireSmoke Detection Based on Faster R-CNN using Synthetic SmokeImages J.Procedia Engineering,2018,211:441-446.8】袁雯雯，姜树海，史晨辉基于改进GMM算法的林火烟雾识别研究J火灾科，2 0 19，2 8（3）：149-15 5.9贾洁，王慧琴，胡燕，等。基于最小二乘支持向量机的火灾烟雾识别算法J.计算机工程，2 0 12，38（2）：2 7 2-2 7 5.40上接第9页）2023年第3期中南林业调查规划第42 卷10徐小军，邵英，郭尚芬。边缘检测算子及其在火焰图像中的应用J.微计算机信息，2 0 0 8（6）：313-314，2 7 9.11兰久强，刘金清，刘引，等基于颜色和纹理特征的林火烟雾识别J计算机系统应用，2 0 16，2 5（3）：10 1-10 6.【12 周忠，赵亚琴，唐于维一，等基于时空特征的林火视频烟雾区域提取J中国农机化学报，2 0 16，37（2）：196-199.13岳姣姣基于多特征融合的林火烟雾检测算法研究D秦皇岛：燕山大学，2 0 16.14丘启敏基于显著性的林火火焰识别【D北京：北京林业大学，2 0 16.15周忠基于时空特征的林火视频烟雾识别【D南京：南京林业大学，2 0 15.16】张飞基于卷积神经网络的林火识别D长沙：中南林业科技大学，2 0 19.17谢绍峰，张贵，肖化顺林火动态监测中3S技术的应用现状与展望J中南林业调查规划，2 0 0 5（4）：47-5 0.猛虎下山、双龟望江、鸡公岩等，神形兼备，让人叹为观止；又处于我国西南岩溶核心区域，岩溶地貌特征典型，溶洞分布广，溶洞景观壮美。其中评分最高的古亭山景区内有溶洞11个，洞内曲折迁回、钟乳遍布、形态各异，俨然艺术宫殿，是不可多得的旅游资源。森林公园内还可以观赏日出、晚霞和云雾等气象景观。此外，森林公园内还有许多引人入胜的人文景观和美丽动人的故事传说。3结语三门江国家森林公园是柳州市唯一的国家级森林公园。其森林面积大、覆盖率高，集森林、地貌、水文与天象景观资源于一体，生物多样性较丰富10 ,旅游资源具有明显的不可替代性，可打造成以休闲、观光、康养、运动和科普教育为主的生态旅游景区-2 。喻芬芬等13 对广西12 家大型国有林场森林旅游资源开发潜力进行评价，结果表明三门江国家森林公园开发潜力为一级。本研究参照山岳型观赏旅游地评价模型中的评价因子权重，对三门江国家森林公园的旅游资源及其开发条件进行综合评价，结果表明，森林公园旅游开发适宜性综合评价总评分值74.95分，其中区位特性、区域条件和旅游资源分别占满分的19.5%、17.2%和6 3.3%；37 个景点旅游景点等级评价中，一级、二级和三级景点的数量占比分别为10.8 1%、18.92%、7 0.2 7%。研究结果说明，18 GUO J M,Prasetyo H,SU H S.Image indexing using the colorand bit pattern feature fusion J.Journal of Visual Communicationand Image Representation,2013,24(8):220-225.19李彦冬，郝宗波，等卷积神经网络研究综述J计算机应用，2 0 16，36（9）：2 5 0 8-2 5 15，2 5 6 520花如祥，吴国新，徐小力卷积神经网络在图像识别中的优化研究J电子测量技术，2 0 18，41（2 4）：6 2-6 621圣文顺，孙艳文卷积神经网络在图像识别中的应用J.软件工程，2 0 19，2 2（2)：13-16.22周飞燕，金林鹏，董军卷积神经网络研究综述J计算机学报，2 0 17，40（6)：12 2 9-12 5 1.23邢元军，宋亚斌，郭晓妮，等基于B/S架构的营造林可视化管理与分析系统【J中南林业调查规划，2 0 2 3，42(2):28-34.24】周飞燕，金林鹏，董军卷积神经网络研究综述J计算机学报，2 0 17，40（6)：12 2 9-12 5 1.三门江国家森林公园旅游资源开发价值较高、区域条件好、区位优势显著，具备旅游开发的良好条件。参考文献：1安冰，王建军基于层次分析法的派阳山森林公园森林风景资源综合评价J中南林业调查规划，2 0 2 2，41（2）：2 0-2 5.2周健，王东栋，申凯歌广东森林公园规划建设新思路J.现代园艺，2 0 2 2，45（2 0）：7 6-7 8.3】叶平昊森林公园游憩区的生态修复：以天柱山国家森林公园为例J.福建林业，2 0 2 2（6：2 6-2 8.4】张鹏升森林资源保护的措施与方法研究：以本溪县为例J.乡村科技，2 0 17（8)：1.5】杨璐璐仰天岗国家森林公园康复性景观综合评价研究J.森林工程，2 0 2 3，39（2）：6 3-7 1，8 1.6刘钊.基于AHP法的太原城郊森林公园视觉景观质量评价J中南林业科技大学学报，2 0 2 3，43（2：18 8-2 0 0.7】黄硕磊，何奕忻，杨早，等成都市龙泉山城市森林公园生态系统服务价值评估体系的构建基于层次分析法J.应用与环境生物学报，2 0 2 2，2 8（6）：16 35-16 45.8曹颖丽水白云国家森林公园康养旅游发展研究【D广西：广西师范大学，2 0 2 2.9姚新涛基于多元因子量化评价的山地生态旅游规划理论研究：以湘西地区为例D天津：天津大学，2 0 19.【10 李丹阳.广西柳州三门江国家森林公园生态敏感性评价与规划对策研究D.南京：南京工业大学，2 0 18.11】何新涛.三门江国家森林公园旅游产品开发研究【D长沙：中南林业科技大学，2 0 18.12】曾秋艳三门江国家森林公园旅游产品定位及其市场开发策略J.现代园艺，2 0 17（13）：40-41.【13喻芬芬，杨波，康志强广西国有林场森林旅游土地资源开发潜力评价研究J.现代园艺，2 0 2 1，44（17）：9-11.