基于智能视频技术的陆空两栖消防侦察系统设计.pdf

近年来袁由于住宅尧厂房和仓库等建筑规模不断扩大袁其结构越来越复杂袁消防隐患随之不断加大袁一旦发生火灾袁损失十分惨重遥 如 2022 年野11 窑 21冶河南省安阳凯信达商贸公司特别重大火灾事故造成 38 人死亡尧2 人受伤曰2021 年野4 窑 22冶上海金山胜瑞电子公司火灾造成 8 人遇难渊含 2 名消防救援人员冤袁直接经济损失 3113.22 万元咱1暂遥 因此袁在做好火灾防治的同时袁必须不断提升火灾扑救能力遥 火灾发生后袁现场十分复杂袁常伴有高温尧浓烟尧低可见度尧强热辐射尧有毒有害气体和易坍塌等情况袁如贸然冲进现场袁不仅不能完成扑救袁还会增加人员伤亡遥 消防侦察机器人袁可代替消防员进入火场袁实施现场侦察袁可及时准确地探明火场信息袁提升救援速度和效率袁得到广泛地应用和发展遥目前袁消防侦察机器人主要有地面移动和空中飞行两类袁运动性能各有优点袁 但也存在着不足袁 主要表现在环境适应性较差袁大多只适用于单一的作业环境袁或地面尧或水下尧或空中遥 复杂的工作环境对于单一功能的机器人的限制将更加严重袁 需要机器人具有更强大的环境适应能力遥陆空两栖机器人悄然出现袁具有更强大的环境适应能力袁不仅具备地面爬行能力袁能够执行地面任务袁也具有空中飞行能力袁能够执行飞行任务遥 同时具备飞行爬行两栖转换能力袁 能够实现地面爬行和空中飞行两者之间转换袁具有较强的环境适应性遥同时袁 机器人进入火场后如何快速有效地进行火源等信息的自动探测显得尤为重要遥传统的火焰检测使用温度传感器尧烟雾传感器等袁在较大场景灵敏度不佳遥随着计算机视觉和图像处理技术的不断发展袁基于视频图像的火灾识别技术越来越成熟袁受到了越来越多的关注袁主要有帧差法咱2暂尧背景建模法咱3暂和光流法咱4暂遥 近年来袁上述方法愈发难以满足高性能和高效果目标检测的要求袁深度学习咱5暂渊Deep Learning袁DL冤引入了一些能学习语义尧 高水平尧 深层次特征的工具来解决传统体系结构中存在问题袁在网络架构尧训练策略和优化功能方面性能提升袁得到了快速发展遥本文基于深度学习技术袁提出了一种基于智能视频探测技术的陆空搜寻系统设计方案遥1系统架构本文提出的基于智能视频探测技术的陆空搜寻系统架构如图 1 所示袁由舵机尧电机尧飞控尧视频尧图传尧感知尧遥控尧手持遥控器和一体屏等组成遥飞控系统控制陆空两栖系统的运行和切换遥空中飞行模式时控制四个舵机袁 通过调节电机转速来改变螺旋桨转速袁通过升力变化袁实现垂直尧俯仰尧横滚和偏航 4 个方向上的运动袁进而达到飞行姿态控制的目的曰当切换到陆地运动模式时袁通过控制四个电机袁实现前进尧后退尧转弯和原地掉头等运动遥感知系统主要是采集灾害现场的相关环境参数尧探测本体周围障碍物等袁将数据传送至飞控系统进行处理和传输曰视频系统采集现场视频信息袁经图传系统传送到后端一体屏袁进行火源探测等智能处理和显示曰 手持遥控器通过无线信号连接本体上的遥控系统袁实现对本体的控制遥图 1系统架构2基于深度学习的火场智能视频探测技术2.1 深度学习模型深度学习是一种源于人工神经网络的机器学习方法袁 通过在层次结构中堆叠多层非线性信息处理模块来模拟数据背后的高级表示袁并对模式进行分类和预测遥 结合特定的领域任务袁深度学习可以自动完成对数据的学习尧有效表征和更高的数据解释遥目前深度学习目标识别算法主要有 R-CNN咱6暂尧Fast-RCNN咱7暂等两阶段识别算法袁以及 SSD咱8暂尧YOLO渊You Only Look Once冤咱9暂等单阶段识别算法两大类遥单阶段识别算法袁在生成候选区的同时进行分类和回归袁识别速度更快袁更加适用于需要实时目标检测遥 YOLOv5咱10暂是新一代的 YOLO 系列目标检测网络袁在保证实时检测的基础上兼顾了较高的准确率袁 得到了广泛的应用遥YOLOv5 有 YOLOv5s尧YOLOv5m尧YOLOv5l 和 YOLOv5x 四个版本袁分别为较小尧中等尧较大和超大版本遥其区别在于模型的深基于智能视频技术的陆空两栖消防侦察系统设计刘盛鹏渊应急管理部上海消防研究所袁上海 200032冤Land-air Amphibious Fire Detection System Based on Intelligent Video Technology摘要院针对火场智能化侦察需求袁提出了一种基于智能视频技术的陆空两栖侦察系统设计方案遥 该方案设计了陆空两栖消防侦察机器人袁具备空中飞行和陆地行走的两栖运动遥 同时袁提出了基于深度学习的智能视频火场探测技术袁实时探测火场火源信息遥 该系统可应对复杂火场环境袁开展火场实时智能侦察袁具有良好的消防实战应用前景遥关键词院消防侦察曰陆空两栖曰消防机器人曰深度学习曰智能视频技术Abstract:In order to meet the requirements of intelligent reconnaissance in fire field,a design scheme of land air am鄄phibious reconnaissance system based on intelligent video technology is proposed.In this paper,a land and air amphibiousfire surveillance robot is designed,which has amphibious movements of flying in the air and walking on the land.At thesame time,an intelligent video fire detection technology based on deep learning is proposed to detect the fire source infor鄄mation in real time.The system can deal with complex fire environment,carry out real-time intelligent fire reconnaissance,and has a good application prospect in fire fighting.Keywords:fire reconnaissance,amphibious land and air,fire fighting robot,deep learning,intelligent video technology基于智能视频技术的陆空两栖消防侦察系统设计132叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期度和宽度设置不同袁进而控制模型深度和卷积核的个数尧模型结构及大小遥 不同模型训练的效果和精度不一样袁其中 YOLOv5s文件最小只有 14 MB袁速度最快袁但是精度较低袁其实应付一般的使用也足够了遥本文采用 YOLOv5s 作为基础结构袁建立基于 YOLOv5s 的火场智能探测模型袁如图 2 所示袁并构建火场图像数据集袁通过迁移训练和学习袁实现火场的智能探测遥图 2智能探测模型2.2 基于 YOLOv5 的火场智能探测技术本文采用 YOLOv5 算法作为实时检测器袁对陆空两栖机器人采集到的火场图像进行处理袁 然后输入到自己训练后的YOLOv5 模型袁实时检测现场的火焰信息袁为后续火灾扑救提供信息和技术支撑遥YOLOv5 官方模型可以识别大概 80 种物体袁但是要实现工程上的应用袁还是要采集制作特定的数据训练样本袁进行模型训练袁方能实现相应目标检测遥 本文基于 YOLOv5 的火场智能探测算法是基于 YOLOv5s 模型袁采集制作自己火场训练样本集袁采取迁移学习技术袁进行迁移训练学习袁获得相应网络模型袁进而进行火场智能视频目标检测袁其训练和识别过程如图 3 所示院图 3模型训练和检测流程3系统设计与实现如上文所述袁本系统主要由舵机尧电机尧飞控尧视频尧图传尧感知尧遥控尧手持遥控器和一体屏等组成遥其中舵机尧电机尧飞控尧感知尧遥控和手持遥控器主要负责陆空两栖机器人的运动控制袁而视频尧图传和一体屏主要负责现场图像采集尧传输尧智能处理和显示袁其数据链路如图 4 所示遥 基于 YOLOv5 的火场视频智能探测算法在手持一体屏中进行袁实时探测火场中火源信息遥图 4视频信号链路示意3.1 数据集采集与制作由于针对的是火灾现场中火焰探测问题袁 本文模型训练和测试集均围绕火焰来构建遥本文数据集制作主要有以下三步院首先通过网络爬虫获取线上图像和消防员救援时拍摄两种方式袁获取一定数量的图像袁经筛选得到基础数据集曰其次袁对基础数据集中的图像进行预处理袁通过调整色调尧饱和度尧明度尧旋转角度尧平移尧缩放尧翻转等一系列处理袁并归一化相同尺寸大小曰然后袁使用 LabelImg 对图像中的火焰进行标注曰最后按照 9:1 的比例袁划分训练集与测试集遥本数据集由 2240 张各个场景火灾相关图像组成袁 其中袁2038 张图像包含多种不同场景尧不同状态下的火焰袁占比 91%袁202张图像还包括红色物体干扰源尧灯光干扰源等元素袁占比 9%遥3.2 模型评估指标本文采用准确率尧召回率尧平均精度等来进行模型评估袁值越高袁则火焰检测效果越好遥假定 Tp 为正确的火焰数目袁Fn 为漏检的火焰数目袁Fp 为虚警的火焰数目遥 召回率定义为 则越栽孕辕渊栽责垣云灶冤袁 精度定义为责越栽孕辕渊栽责垣云责冤袁平均精度定义为 皂粤责越员园乙p渊则冤dr袁其中袁p渊则冤为精度召回曲线遥3.3 实验结果训练后的智能检测模型袁可准确地检测出火场中的火焰袁进而确定火源位置袁实验结果如图 5 所示院图 5检测结果133渊上接第 131 页冤原始图像 a 被 ResNet-50 以 95.40%的置信度正确识别为公鸡袁 噪声 b 由 ResNet-152尧VGG-19尧Densenet-121尧In鄄ception-v3 四个模型生成的袁对抗图像 c 是原始图像 a 和噪声b 的相加遥犰狳标签是从其他错误的标签中随机选择的遥对抗样本被 ResNet-50 以 99.9%的置信度错误识别为犰狳遥缘结束语本文针对危害更大的目标攻击袁 提出基于询问的集成攻击方法袁该方法使对抗样本的可转移性有明显提高遥尽管本文的方法在黑盒情况下的目标攻击成功率有明显提升袁 但还没有达到非目标攻击的效果遥在之后的工作中袁将结合其他提升对抗样本可转移性的方法袁进一步提升目标攻击效果遥参考文献咱员暂SZEGEDYC,ZAREMBAW,SUTSKEVERI,etal.Intriguingproperties of neural networksC/Proceedings of the 2nd In鄄ternational Conference on Learning Representations,2014咱圆暂GOODFELLOW I J,SHLENS J,SZEGEDY C.Explaining andharnessing adversarial examplesJ.arXiv院1412.6572,2014咱猿暂LIU Y,CHEN X,LIU C,et al.Delving into transferable ad鄄versarial examples and black-box attacksJ.arXiv:1611.02770,2016咱源暂KURAKIN A,GOODFELLOW I J,BENGIO S.Adversarial ex鄄amples in the physical worldM/Artificial intelligence safetyand security.Chapman and Hall/CRC,2018:99-112咱缘暂DONG Y,LIAO F,PANG T,et al.Boosting adversarial at鄄tacks with momentumC/Proceedings of the IEEE conferenceon computer vision and pattern recognition,2018:9185-9193咱远暂POLYAK B T.Some methods of speeding up the conver鄄gence of iteration methodsJ.USSR Computational Mathe鄄matics and Mathematical Physics,1964,4(5):1-17咱苑暂LIN J,SONG C,HE K,et al.Nesterov Accelerated Gradientand Scale Invariance for Adversarial AttacksC/InternationalConference on Learning Representations,2019咱愿暂NESTEROV Y.A method for unconstrained convex minimizationproblem with the rate of convergenceJ.Doklady AkademiiNauk,1983,269:543-547咱怨暂HE K,ZHANG X,REN S,et al.Deep residual learning forimage recognitionC/Proceedings of the IEEE conferenceon computer vision and pattern recognition,2016:770-778咱员园暂HE K,ZHANG X,REN S,et al.Identity mappings in deepresidual networksC/European conference on computer vi鄄sion,2016:630-645咱员员暂SIMONYAN K,ZISSERMAN A.Very deep convolutional net鄄works for large-scale image recognitionJ.arXiv:1409.1556,2014咱员圆暂HUANG G,LIU Z,VAN DER MAATEN L,et al.Denselyconnected convolutional networksC/Proceedings of theIEEE conference on computer vision and pattern recogni鄄tion,2017:4700-4708咱员猿暂SZEGEDY C,VANHOUCKE V,IOFFE S,et al.Rethinkingthe inception architecture for computer visionC/Proceedingsof the IEEE conference on computer vision andpatternrecognition,2016:2818-2826咱员源暂RUSSAKOVSKY O,DENG J,SU H,et al.Imagenet largescale visual recognition challengeJ.International Journal ofComputer Vision,2015,115(3):211-252咱收稿日期院圆园圆猿原园员原员远暂4结束语本文提出了一种基于智能视频探测技术的陆空搜寻系统设计方案袁设计开发了陆空两栖飞行机器人袁实现空中飞行和陆地行走袁提高了机器人复杂火场的地形适应性遥 同时袁研究了基于深度学习的火场智能视频探测算法袁 可进行火场火源的自动识别袁提高了两栖机器人的智能化水平袁为后续消防员扑救提供了技术支持遥参考文献咱1暂上海市应急管理局.吸烟引燃周边杂物致车间火灾 8 人亡咱J暂.劳动保护袁2022渊10冤院48-49咱2暂XIONG C Z,FAN W Y,LI Z X.Traffic flow detection algorithmbased on intensity curve of high resolution image C/Pro鄄ceedings of Second International Conference on ComputerModeling and Simulation,2010:159-162咱3暂HAN X W,GAO Y,LU Z,et al.Research on moving object de鄄tection algorithm based on improved three frame differencemethod and optical flowC/Proceedings of Fifth InternationalConference on Instrumentation and Measurement,Computer,Communication and Control(IMCCC),2015:580-584咱4暂李成美袁白宏阳袁郭宏伟袁等援一种改进光流法的运动目标检测及跟踪算法咱J暂.仪器仪表学报袁2018袁39渊5冤院249-256咱5暂HAO X,ZHANG G G,MA S.Deep learning J.InternationalJournal of Semantic Computing,2016,10(3):417-439咱6暂GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich featurehierarchies for accurate object detection and semantic seg鄄mentation C/2014 IEEE Conference on Computer Visionand Pattern Recognition,2014:580-587咱7暂REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:to鄄wards realtime object detection with region proposal net鄄worksJ.IEEE Transactions on Pattern Analysis and MachineIntelligence,2017,9(6):1137-1149咱8暂LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single shotmultibox detectorC/European Conference on Computer Vi鄄sion.Cham:Springer International Publishing,2016:21-37咱9暂REDMON J,FARHADI A.YOLOv3:粤n 陨ncremental 陨mprove鄄mentJ/OL.渊2018-0源-05冤咱圆园圆圆原员员原员缘暂.https:/arxiv.org/abs/1804.02767咱10暂JOCHER G.Yolov5EB/OL.渊圆园圆园原园愿原园怨冤咱202圆-员员-员缘暂https:/ YOLOv5 的智能除草机器人蔬菜苗田杂草检测研究咱J暂.图学学报袁圆园圆猿袁源源渊圆冤院猿源远原猿缘远咱12暂刘闽袁李喆袁李曜丞袁等.基于重参数化 YOLOv5 的输电线路缺陷边缘智能检测方法咱J辕韵蕴暂.高电压技术渊圆园圆圆原园怨原园愿冤咱圆园圆圆原员员原员缘暂.https:/doi.org/1003-62250.hve.20220861咱13暂李志军袁杨圣慧袁史德帅袁等.基于轻量化改进 YOLOv5 的苹果树产量测定方法咱J暂.智慧农业渊中英文冤袁2021袁3渊2冤院100-114咱收稿日期院圆园圆圆原员员原猿园暂基于智能视频技术的陆空两栖消防侦察系统设计134