基于人工智能的远程火灾实时探测报警系统设计_耿潘潘.pdf

本栏目责任编辑：唐一东人工智能Computer Knowledge and Technology电脑知识与技术第19卷第18期(2023年6月）第19卷第18期(2023年6月）基于人工智能的远程火灾实时探测报警系统设计耿潘潘，张勇昌（江苏建筑职业技术学院，江苏 徐州 221116)摘要：为了远程实时探测火灾事故，运用目标检测算法开发人工智能模型，并使用自定义的火灾和烟雾图像数据集对其进行训练和测试，设计开发了基于端到端物联网云的远程火灾实时探测报警系统。该系统可以接收来自摄像头的实时视频流，并提取帧，同时将其传送到多个AI模型来计算火灾和烟雾发生的概率。系统基于自定义风险阈值，通过编程输出剪辑视频，并自动发送给用户以获取实时警报。研究表明：系统在检测给定输入图像或视频流中的火灾和烟雾时比传统的Faster RCNN更准确，速度快3倍以上。系统运用多个组合AI模型监控边界框的区域，显著降低了错误警报的发生率，提高了系统的整体准确性。关键词：人工智能；卷积神经网络；视频流；火灾；自主报警中图分类号：TP311 文献标识码：A文章编号：1009-3044(2023)18-0018-03开放科学（资源服务）标识码(OSID)：0 引言传统的火灾和烟雾探测器基于热传感器和化学传感器。这些传感器适用于室内环境，并且需要较多的探测时间和火灾或烟雾量来提醒居住者。此外，如果系统未正确安装和维护，或位于火灾位置附近，则可能发生故障1。根据不完全统计，在住宅火灾中死亡的人员中，有11%没有获得火灾和烟雾探测器的有效提醒，还有60%的住宅火灾死亡是在没有烟雾探测器或探测器发生故障且未向居住者发出警报的建筑中造成的。然而，大多数消防队员在应对建筑火灾时，会受到人力、设备和预算等可用资源的限制。另外，现代建筑材料和技术、开放式布局和合成家具对火灾发生的影响比其传统产品更大。这些变化导致了火灾传播速度更快、人员逃生时间和建筑结构倒塌时间更短，导致有效火场扑救的可用时间缩短2。因此，亟须一套反应速度更快、覆盖范围更广的火灾报警系统来提高火灾险情的预警。对于建筑火灾，传统的探测方法依赖于火灾和烟雾探测器，其局限性和有效性主要取决于烟雾的体积与起火位置的接近程度3。一个被忽视的因素是来自无处不在的智能摄像设备的图像流，这些设备在大多数建筑环境中都很容易获得。将获取的图像流与用于图像分类的机器学习集成，可为远程实时自主火灾和烟雾检测提供有效的解决方案4。随着人工智能、图像处理、计算机视觉和物联网平台的快速发展，与摄像头集成的智能设备为远程实时自主火灾和烟雾检测提供了有效的解决方案5。研究开发了基于AI的物联网系统，系统使用来自摄像头的实时视频流来自动远程检测火灾和烟雾，并通过消息实时通知用户。用户可以验证系统检测到的火灾视频片段，并激活警报以提醒其他人或采取必要的行动。这种火灾的早期发现和及时反应可以减轻火灾进一步恶化和蔓延，使消防员能够在火灾初期控制和扑灭火灾，使居民能够尽快逃离建筑并远离火灾地点，简化搜救行动，减少财产损失，避免消防员和居民伤亡及财产损失。1 系统设计远程火灾实时探测报警系统部署架构（如图1所示）主要分为三个主要组件：1)火情现场图像/视频获取；2)运用对象检测模型进行火灾和烟雾检测；3)火情预警用户通知。在第一个组件中，将来自网络摄像头、流媒体软件、移动电话或与摄像头集成的任何其他设备的视频流传送到流媒体服务器，以备下一步处理。由于大多数移动电话和网络摄像头不支持发布编码视频流，因此流媒体服务器首先将视频编码为标准格式，并使用实时消息协议将其发布到摄取服务器。具有内置编码器（例如IP摄像头）的设备理想情况下可以直接发收稿日期：2023-03-07基金项目：教育部高等学校科技研究发展中心专项课题“基于虚拟仿真技术的智能建造实训体系重构研究”(ZJXF2022197)；江苏省教育科学“十四五”规划课题“新时代高等职业教育评价改革及评价体系建构研究”(D/2021/03/48)；江苏建筑职业技术学院教研课题“新时代职业教育评价改革研究”(ES2021-1)；江苏建筑职业技术学院教研课题“高职院校信息化建设水平研究”(ES2022-26)；江苏省高校“智慧教育与教学数字化转型研究”专项课题“智慧教育质量标准与评价体系的研究与实践以超星泛雅平台为例”(2022ZHSZ03)作者简介：耿潘潘(1985)，女，江苏徐州人，工程师，本科，研究方向为信息技术与高职教育。E-mail：http：/Tel：[phone] 65690964ISSN 1009-3044Computer Knowledge and Technology 电脑知识与技术Vol.19,No.18,June 202318DOI:10.14004/ki.ckt.2023.0903人工智能本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第18期(2023年6月）第19卷第18期(2023年6月）布到摄取服务器，摄取服务器也可以通过中央流式服务器进行元数据捕获，将视频输入直接提供给检测服务器以减少延迟。流服务器将流元数据和用户信息存储在数据库（如Mongo DB)中，同时流服务器将流发布到摄取服务器。检测服务器对来自摄取服务器的编码流进行检测。流服务器将得到来的流通知检测服务器，以便可以准备好执行检测。图1 远程火灾实时探测报警系统架构在第二个组件中，检测服务器从摄取服务器中读取视频流，并从视频输入流中提取帧，将每个帧传送到对象检测模型，执行火灾和烟雾检测。由于传统常规的检测算法在检测速度和准确度方面都没有特别显著的性能优势6，因此为了提高火灾检测的准确性，系统运用EfficientDet 和Scaled-YOLOv4两种检测模型进行图像帧的检测。EfficientDet是一种快速、高精度的检测器，它使用EfficicentNet架构作为其主干7。将图像作为输入并生成特征图，这些特征图被发送到具有可学习权重的双向特征网络(BiFPN)，以确定每个输入特征图的重要性。BiFPN作为一个特征网络，产生融合特征，这些融合特征被传送到基于卷积的类和框网络，以分别检测对象类和边界框。为了提高特征网络的效率，提出了一种新的双向特征网络BiFPN，它结合了FPN/PANet/NAS-FPN的多级特征融合思想这使信息能够在自上而下和自下而上的方向上流动，同时使用常规和高效的连接。传统方法通常平等地对待输入到FPN的所有特征，即使是那些具有不同分辨率的特征8。然而，观察到不同分辨率的输入特征通常对输出特征的贡献不等。因此，需要为每个输入特征添加一个额外的权重，并允许网络学习每个特征的重要性。通过优化，新的双向特征网络BiFPN进一步将准确度提高了4%，检测速度快了3倍。在COCO数据集上评估EfficientDet,COCO数据集是一种广泛使用的对象检测基准数据集9。EfficientDet实现了52.2的平均精度(mAP)，比之前的最先进模型高出1.5个百分点，同时使用的参数减少了4倍，计算量减少了9.4倍。Scaled-YOLOv4在视频分析的准确性和速度方面都有显著的优势。与 EfficientDet 相比，Scaled-YOLOv4能选择的网络结构更多10。它使用跨阶段部分Darknet53(CSPDarknet53)架构作为其主干，从输入图像和路径聚合网络(PANet)中提取特征图。此外，还在主干之后使用空间金字塔池来增加其感测度，并从特征图中分离重要特征11。除了架构改进，Scaled-YOLOv4还使用了其他两种技术来提高性能。通过在训练模型时应用若干数据增强来实现图像的识别，并通过使用Mish激活函数、DIoU NMS、CmBN和DropBlock正则化来提高图像的识别率。对于给定的帧，如果两个模型检测到火灾的概率都高于风险阈值，则系统会确认帧中存在火灾。为了避免误报，如果两个或任何一个模型都没有在给定的帧中检测到火灾，则该帧不会被作为火情用于最终输出。实验发现与 EfficientDet 的预测相比，Scaled-YOLOv4的预测更准确和精确。因此，一旦两个模型都确认给定帧中存在火灾，则将Scaled-YOLOv4生成的边界框通知用户。实验实现了类似的逻辑来确认和通知烟雾的检测。在给定的帧中（尤其是在火灾的初始阶段），火和烟可能同时存在，也可能不同时存在，因此，如果两个模型都检测到火灾或烟雾，则将通知用户。这些检测结果基于存储在数据库中的流密钥和流索引存储在检测服务器中，以满足GPU支持快速推断的需要。针对实况视频流可能包括火灾静态图（例如，挂在墙上的火灾图片）或周围类似物体的静态图像，而使得当前人工智能检测模型产生错误警报的问题，系统通过算法检测火灾和烟雾的大小变化来判断是否是真实的火灾，即它可以区分视频流中存在的真实火灾和火灾（或类似物体）的静态图像。在火灾初期，火灾和烟雾的规模都较小，随着时间的推移，它们会不断变化和增加。系统算法通过测量从模型中获得的火灾和烟雾的边界框的面积来记录火灾和烟雾大小。基于视频流的帧速率，如果算法检测到火灾或烟雾的边界框的总面积在特定时间内有80%的帧在变化或增加，则确认视频流中存在真实或实况火灾。然而，火灾（或类似对象）静态图像的边界框不会连续更改或增加。因此，该技术有助于本系统显著消除错误检测。对于视频流中的所有连续帧，来自两个AI模型的输出可能一致，也可能不一致。因此，在最后的第三部分中，如果某个时间段内的80%的连续帧被报告为火灾或烟雾，其概率超过两个模型的风险阈值，则相应时间段的所有输出帧以编程方式组合，以生成视频剪辑，该视频剪辑将自动实时发送给最终用户。通知通道使用简单通知服务(SNS)发送消息。在收到通知后，用户可以根据需要采取必要的行动，或者如果判断收到视频并非火情，则忽略该消息。同时，要求用户验证输出并反馈，以进一步改进系统的模型和精度。2 实验仿真系统运用PyTorch框架创建和训练模型。训练平台包括一台 32GB 内存的 Linux 服务器和一台 48GB GDDR6 VRAM的Nvidia Quadro RTX8000 GPU。根据燃料类型，国家标准(GB/T 4968)将火灾分为六种主要类型：A类指固体物质火灾，这种物质通常具有有机物质性质，一般在燃烧时能产生灼热的余烬。B类指液体或可熔化的固体物质火灾。C类指气体火灾。D类指金属火灾。E类指带电火灾。F类指涉及可燃烹饪介质的烹饪器具火灾。实验收集13000张图像，确保了图像在所有六类火灾中的均匀分布。这些原始图像非常嘈杂，并且格式不统一，无法将它们直接输入模型进行训练。因此，通过预处理程序对19本栏目责任编辑：唐一东人工智能Computer Knowledge and Technology电脑知识与技术第19卷第18期(2023年6月）第19卷第18期(2023年6月）所有图像进行清理。预处理步骤包括移除重复或相似的图像以保持六类火情的平衡，移除含有大量文本的图像，清理损坏的图像等。最终的数据集包括7560张图像，其中包括所有类均匀分布的火情图像，并用适当的边界框手动注释。首先在公共环境数据集COCO上对模型进行预训练。预先训练模型有助于卷积层从日常图像场景中识别图案、纹理和对象。因此，模型内核不需要学习从图像中提取特征的基础知识，并且当预训练的模型最终在系统中的火灾和烟雾数据集上训练时，可以提供更快的收敛速度。然后针对火灾和烟雾数据集对其进行微调。该模型被训练了150个周期，批大小为16，随机梯度下降法(SGD)优化器的初始学习率为0.003，在第120个周期后下降了10%。系统还添加了0.0005的L2正则化调整，以避免过度拟合。为进一步提高模型从图像中检测到火灾和烟雾的速度，系统创建定制大小的锚框，以适应数据集。为了找到数据集的模板锚框的尺寸，首先通过将训练集中的图像边界框尺寸除以各自的图像尺寸，使其在范围0,1内，即对其进行标准化。归一化后，将每个边界框的高度和宽度发送给k-Means算法，该算法将这些边界框分割，其中分割数n可以是9或12。每个簇的质心被视为模板锚框尺寸。通过将所获得的尺寸乘以640，即给定模型的输入图像的尺寸。算法从初始值开始，并尝试在每一代优化之后最大化适应度得分。该算法主要运用变异和交叉的遗传算子，算法使用 90%概率和 0.04 方差的变异，将模型运行 300次，其中每一次模型训练10个周期，根据前几次中最好的组合创建新的后代。该方法显著提高了Scaled-YOLOv4模型的性能。通过仿真实验对EfficientDet、Scaled-YOLOv4和Faster RCNN 三种模型进行比较。与 EfficientDet 和Scaled-YOLOv4 相比，通过训练 Faster RCNN 获得的平均精度mAP值最低。实验对Faster RCNN的平均精度mAP值与EfficientDet和Scaled-YOLOv4模型中的最佳对象探测器的mAP进行了比较，如表1、表2、图2和图3所示。可以看出，Scaled-YOLOv4在三种模型中给出了最佳的平均精度mAP。表2比较了每个探测器在每个图像或视频帧中探测火灾和烟雾所用的平均时间。研究分析发现，Scaled YOLOv4 和 EfficientDet模型检测图像的速度更快、更准确。因此，将它们集成到物联网系统中，用于实时检测图像和视频流中的火灾和烟雾。表1 三种检测模型的mAP值比较模 型Faster RCNNEfficientDetScaled-YOLOv4mAP0.568.1%79.2%81.1%mAP0.5:0.9536.5%49.6%52.5%注：mAP0.5 全称是 mean Average Precision(IoU=0.5)，即将IoU设为0.5时，计算每一个类别下所有图片的平均mAP。mAP0.5:0.95表示在不同IoU阈值(0.50.95，步长0.05)(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均mAP。表2 三种检测模型对图像或帧的平均目标检测时间比较模 型Faster RCNNEfficientDetScaled-YOLOv4每个图像平均检测时间(S)0.0560.0180.015图 4 显 示 了 从 EfficientDet、Scaled-YOLOv4 和Faster RCNN获得的输出与大小不同的原始目标图像和所有六类火灾的比较，火灾用蓝色边界框描绘，烟雾用红色边界框描绘。显然，Scaled-YOLOv4和EfficientDet 的火灾和烟雾检测明显优于 Faster RCNN。因此，系统将其集成到物联网系统中，用于实时检测图像和视频流中的火灾和烟雾。图2 验证集上mAP0.5值的比较图3 验证集上mAP0.5:0.95值的比较图4 EfficientDet、Scaled-YOLOv4和Faster RCNN检测模型的输出比较（下转第25页）20人工智能本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第18期(2023年6月）第19卷第18期(2023年6月）所示；SOMP、KSPCK方法的分类精度分别为92.55%和96.54%，而本文方法的分类精度为98.78%，边界更加清晰，小样本地物的分错率更低。除此以外，由表1得，第1、3、9、11类地物的分类精度为100%。4 结论针对高光谱图像同谱异类和同类异谱现象以及边界噪声对分类精度的影响，提出一种基于改进核联合稀疏表示和KNN算法的高光谱图像分类方法。利用光谱信息和空间信息，将邻域像元集和超像素分割像元集相结合，通过改进的核稀疏表示计算残差，再通过KNN算法计算测试像元与各训练样本集的距离，最后建立决策函数完成分类。与其他方法相比，整体分类精度与每类分类精度都有明显提高。参考文献：1 Imani M,Ghassemian H.An overview on spectral and spatial information fusion for hyperspectral image classification:current trends and challengesJ.Information Fusion,2020,59:59-83.2 刘嘉敏,郑超,张丽梅,等.基于图像重构特征融合的高光谱图像分类方法J.中国激光,2021,48(9):203-212.3 张建伟,陈允杰.高光谱图像分类方法综述J.南京信息工程大学学报（自然科学版）,2020,12(1):89-100.4 Chen L L,Wei Z H,Xu Y.A lightweight spectralspatial feature extraction and fusion network for hyperspectral image classificationJ.Remote Sensing,2020,12(9):1395.5 Tu B,Wang J P,Kang X D,et al.KNN-based representation of superpixels for hyperspectral image classificationJ.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2018,11(11):4032-4047.6 王立国,赵亮,刘丹凤.SVM在高光谱图像处理中的应用综述J.哈尔滨工程大学学报,2018,39(6):973-983.7 李佳逊,董安国,沈亚栋,等.基于邻域相似度的联合稀疏表示的高光谱图像分类算法J.激光与光电子学进展,2017,54(12):470-476.8 Haut J M,Bernab S,Paoletti M E,et al.Lowhigh-power consumption architectures for deep-learning models applied to hyperspectral image classificationJ.IEEE Geoscience and Remote Sensing Letters,2019,16(5):776-780.9 Chen Y,Nasrabadi N M,Tran T D.Hyperspectral image classification using dictionary-based sparse representationJ.IEEE Transactions on Geoscience and Remote Sensing,2011,49(10):3973-3985.10 Chen Y,Nasrabadi N M,Tran T D.Hyperspectral image classification via kernel sparse representationJ.IEEE Transactions on Geoscience and Remote Sensing,2013,51(1):217-231.11 Zhang H Y,Li J Y,Huang Y C,et al.A nonlocal weighted joint sparse representation classification method for hyperspectral imageryJ.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2014,7(6):2056-2065.12 Zhang E L,Zhang X R,Liu H Y,et al.Fast multifeature joint sparse representation for hyperspectral image classificationJ.IEEE Geoscience and Remote Sensing Letters,2015,12(7):1397-1401.13 涂兵,张晓飞,张国云,等.递归滤波与KNN的高光谱遥感图像分类方法J.国土资源遥感,2019,31(1):22-32.14 涂兵,朱禹,周承乐,等.多尺度超像素纹理特征保持与融合的高光谱图像分类J.电子与信息学报,2022,44(6):2207-2215.15 黄超.基于超像素分割与低秩表示的高光谱图像去噪算法研究D.武汉:华中科技大学,2016.【通联编辑：唐一东】（上接第20页）3 结论研究开发了一种用于实时远程火灾和烟雾目标检测的AI模型。设计了一个自定义的火灾和烟雾图像数据集，其中包括国家标准指定的所有六类火灾。与 Faster RCNN 相比，Scaled-YOLOv4 和 EfficientDet在实时检测给定输入图像或视频流中的火灾和烟雾方面更准确、更快、更可行。实现了一种基于端到端物联网云的远程火灾预警系统，系统可以从摄像头集成的设备接收实时视频流(RTSP/RTMP/SDP)，提取帧，将其同时传送到多个对象检测模型，并计算输入中存在火灾和烟雾的概率。基于系统中设置的风险阈值和自定义标准，可以在火灾的初始阶段发现火灾，并以编程方式编译输出视频剪辑，通过消息自动实时发送给用户，使其在必要时立即采取适当的行动。这种火灾的早期发现和及时反馈可以减轻火灾蔓延，使消防员能够更有效地控制和扑灭火灾，使居住者能够及时逃离火灾地点，简化搜救行动，尽量避免消防员和居民的伤亡及财产损失。参考文献：1 魏立明,董天昊,张译心,等.基于贝叶斯算法的火灾报警系统研究J.消防科学与技术,2021,40(8):1199-1201.2 钟东,潘红兵.基于GIS平台的视频监控系统与火灾报警系统联动的应用研究J.公路交通科技（应用技术版）,2017,13(12):300-302.3 蔡改贫,邓涛,倪俊.基于手机客户端的智能家居火灾报警系统设计J.消防科学与技术,2020,39(3):377-380.4 杨天人,金鹰,方舟.多源数据背景下的城市规划与设计决策城市系统模型与人工智能技术应用J.国际城市规划,2021,36(2):1-6.5 郭东妍,赵焱.基于视觉传达的新型人工智能系统优化设计J.数字通信世界,2019(2):87.6 陆晓,刘翌,江叶峰,等.基于监控大数据平台上的人工智能应用总体设计J.电力大数据,2019,22(4):37-42.7 黄发扬.浅谈基于神经网络深度学习算法的人脸识别技术J.智能建筑,2018(10):65-67.8 曹家乐,李亚利,孙汉卿,等.基于深度学习的视觉目标检测技术综述J.中国图象图形学报,2022,27(6):1697-1722.9 Farhadi A,Redmon J.YOLOv3:an incremental improvementC.Computer Vision and Pattern Recognition.Berlin,Heidelberg,Germany:Springer,2018:1804-2767.10 Bochkovskiy A,Wang C Y,Liao H Y M.YOLOv4:optimal speed and accuracy of object detectionEB/OL.2020:arXiv:2004.10934.https:/arxiv.org/abs/2004.10934.11 马琳琳,马建新,韩佳芳,等.基于YOLOv5s目标检测算法的研究J.电脑知识与技术,2021,17(23):100-103.【通联编辑：王力】25