基于改进SSD网络算法的居民楼道内安全隐患的目标识别.pdf

信息技术XINXIJISHU2023年第9期基于改进SSD网络算法的居民楼道内安全隐患的目标识别常杰，陈婷*（昆明理工大学机电工程学院，昆明6 50 0 0 0）摘要：针对于现存居民楼道内安全隐患的管理方式，文中提出一种利用目标检测技术协助小区管理人员进行管理的方法，这种方法能够很好地提高管理效率。使用目标检测技术对居民楼道内存在安全隐患的物体进行检测以便管理人员进行管理，同时为了保证更好的检测效率,文中采用了改进后SSD算法，改进后SSD算法是在原始算法的主干网络中添加RFB模块以提高对于目标检测的准确率。实验结果表明，改进后SSD算法相较于原始算法对于三种物体的检测准确率上都有显著的提升。关键词：目标检测；SSD算法；RFB模块；机器视觉；虫洞卷积中图分类号：TP391D0I:10.13274/ki.hdzj.2023.09.016Target recognition of hidden safety hazards in residential corridor based on improved SSD networkalgorithmCHANG Jie,CHEN Ting(College of Mechanical and Electrical Engineering,Kunming University of Science and Technology,Kun-ming 650000,China)Abstract:On the basis of the management mode of potential safety hazards in the existing residential corri-dor,this paper proposes a method to use target detection technology to assist community managers in man-agement,which can improve the management efficiency.The target detection technology is used to detectobjects with potential safety hazards in residential corridors for management.At the same time,in order toensure better detection efficiency,this paper adopts the improved SSD algorithm.The improved SSD algo-rithm adds RFB module to the backbone network of the original algorithm to improve the accuracy of targetdetection.Experiment results show that the improved SSD algorithm has significantly improved the detectionaccuracy of the three objects compared with the original algorithm.Key words:target detection;SSD algorithm;RFB module;machine vision;wormhole0 引 言目前，小区管理者针对居民楼道内安全隐患作者简介：常杰（1995一），男，硕士研究生，研究方向为企业集成及信息化工程。*通讯作者：陈婷（197 1），女，硕士，副教授，研究方向为企业集成及信息化工程。一9 6 一文献标识码：A文章编号：10 0 9-2 552(2 0 2 3)0 9-0 0 9 6-0 7的管理主要依靠定期巡查，这样的方式极大增加了维护成本，同时为了减少成本可能将巡查周期安排的比较长,这样就失去了巡查的意义。为了能够降低管理成本以及提高效率，本文提出通过改进后SSD目标检测算法取代人力巡查。SS基于改进SSD网络算法的居民楼道内安全隐患的目标识别R-CNN1算法的识别准确率很高,但是运算运行基础基于图像处理技术达到能够自动读取指复杂且运算数据量巨大导致运算时间过长。Fas-针式仪表与数码管式仪表的技术，并实现移动端ter R-CNN2则是用区域生成网络（RPN）代替了的搭载7 ;施冬梅提出采用表征能力更强的In-SS选择性搜索算法，实现了端到端的算法，但是ception-ResNet网络对VGG16网络进行替换，使由于其参数过多并不满足轻量化要求。YOLO3用残差网络学习算法减少参数维度，降低训练难算法满足了轻量化的要求，运行速度快，但准确率度，使用改进三分支残差网络对小目标的进行多不足。SSD4算法结合了YOLO中的回归思想和特征融合以提高目标检测精度8 。Faster-RCNN中的Anchor机制，使用全图各个位1SSD目标检测算法(single shot MultiBox Detec-置的多尺度区域进行回归,既保持了YOLO速度tor)快的特性，也保证了窗口预测的跟Faster-RCNN1.1SSD算法网络结构一样比较精准。为了能够得到更加优秀的性能，SSD采用的主干网络是修改后的VGG169本文以SSD算法为基础对其进行进一步的优化。将原本VGG16中的FC6层和FC7层转化为卷积目标检测在发展过程中应用于多个领域。周层,同时将原先的Pool5 的步长为2 的2 2 改为强等采用Mobilenetv2轻量化网络作为SSD主干了步长为1的33并去掉了Dropout层和Fc8网络用以提高检测速度5；张建新等提出使用机层,并且为了能在不同尺度上得到图像特征在器视觉系统实现在战场对缴获器材进行精确保障VGG16的基础上在后面增加了Conv6、Co n v 7、的方法，适实地结合了战时的特点以及需求达到Conv8、C o n v 9。得到了新的VGG16网络如图1战争保障新需求6 ；李大国等提出以PC平台为所示。Conv-Conv5VGG-16throughConv5.3layer300aSSlmage3001.2SSD网络候选框生成SSD网络模型在经过特征提取之后将在六个不同尺度上得到特征，并对应的形成了六组不同的候选框。高层的特征图划分得比较粗，点比较少所以有利于检测大目标；底层的特征图划分得比较细,相对更加有利于检测较小目标。使用个特征图进行预测，那么每个特征图的候选框尺寸S的计算公式为：Sx-SminSi=Smin+maxm-1式中，Smin表示最底层尺度，Smax表示最高层尺度。一常杰等Extra Feature LayersClassifier:Conv:33x(4x(Classes+4)Classifier:Conv:3x3x(6x(Classes+4)Classifier:Conv:33(6x(Classes+4)Classifier:Conv:33(6x(Classes+4)3819Conv4_3fc63819512Conv:33x1024Conv:11x1024(i-1),ie1,m(1)Jod19fc7191024图1VGG16网络结构图候选框使用不同的宽高比,=1.2.3.2-)表示,候选框的宽w和高h可由式（2）（3）得到：w=Si/ayh=S:/ay通过上述机制，针对不同特征层的单元生成不同大小的8 7 32 个候选框，通过这些候选框就可以做到对目标检测对象的分类和位置回归。1.3SSD算法网络训练向SSD算法中输入一个30 0 30 0 3的图一9 7 一74.3mAP59FPS10Conv:33x(4x(Classes+4)Conv6Conv71051024512Conv:1x1x256Conv:1x1x128Conv:3x3512-s2Conv:3x3x256-s2v8256256Conv:1xix128Conv:3x3x256-s1Conv9250Conv:1x1x128Conv:3x3x256-s1(2)(3)基于改进SSD网络算法的居民楼道内安全隐患的目标识别片,进人VGG16网络后在不同的尺度上得到了6个不同尺度的特征图对其进行操作最终得到结果如表1所示,其中num_priors 是指每一特征图上num_priors 4 的有效特征层候选框个数Conv4-3(38,38,512)4Fc7(19,19,1024)6Conv6-2(10,10,512)6Conv7-2(5,5,256)6Conv8-2(3,3,256)4Conv8-2(1,1,256)4通过上述操作会在不同尺度上得到若干候选框,对候选框进行调整获得预测框。以 Conv4-3的特征层为例，它就是将整个图像分成了38 38个网格，以每个网格的中心为中心建立多个候选框,对于Conv4-3层来说就是建立了38 38 4个先验框。为了得到预测框，需要将候选框与真实框进行交并比（Intersection overUnion，I o U）计算,IoU计算公式(4)如下：ScrUSpEIoU=ScrnSpB其中,Scr表示真实框的值，SpB表示候选框的值。这一步计算是为了得到每一个真实框与所有候选框的重合程度，选出重合程度大于一定阈值的候选框。由于一个候选框只能负责一个目标的预测,所以当出现某个候选框和多个真实框的IoU值都达到阈值时，那么这个候选框只负责IoU值最大的真实框的预测。将经过筛选后的候选框进行置信度得分排序和非极大值抑制（Fast Non-Maximum Suppression，Fa s t NM S)后就能得到最终的预测框。将得到的预测框与真实框进行损失计算，然后将其作为反向更新权重的依据。SSD算法的损失函数是位置损失Lio和类别置信度损失Lconr加权和得来的，公式（5）如下：L(x,c,l,g)=(Leor(x,c)+aLioe(x,g)(5)其中,x取值为1或0,表示预测框是否为类别p；一9 8 一常杰等所存在的候选框的个数,num_classes 是指预测的种类数量。表1各特征层经过操作后的结果Num_priors X num_classes卷积后的 shape的卷积后的 shape(38,38,16)(38,38,84)(19,19,24)(19,19,126)(10,10,24)(10,10,126)(5,5,24)(5,5,126)(3,3,16)(3,3,84)(1,1,16)(1,1,84)c为类别p的置信度;l是预测框;g是真实框；N为预测框总数;为两者的权重，一般为1。其中位置损失函数Lic采用SmoothL1loss损失函数,公式(6)-(7)如下：NLu(x,l.g)=iePosmetex,cy,w,h38)0.5x2,Smooth.i(x)=Llx-0.5,1x11(4)其中，i表示预测框编号；i表示真实框编号；k表示类别编号，k=0表示背景框。类别置信度损失函数Lcon采用Softmaxloss,公式（8)如下：NLonr(x,c)=-Zxflog(cr)E log(c9)iePosexp(c.)：Zexp(c)P其中,P表示类别编号,P=0表示为非目标的背景。2改进后SSD网络算法在原始 SSD算法的主干网络VGG16 的基础上增加了RFB(Receptive Field Block)模块。RFB模块结合了Inception算法10 的思想，且在 Incep-tion算法的基础上加人了虫洞卷积的思想，所以RFB模块能够模拟人类视觉的感受野，以增加主干网络提取特征的能力。2.1RFB 模块RFB模块通过设置卷积中的膨胀率（dilation获得的候选框的shape(38,38,16)(19,19,24)(10,10,24)(5,5,24)(3,3,16)(1,1,16)ismothu(-(6)1x11(7)ieNeg(8)基于改进SSD网络算法的居民楼道内安全隐患的目标识别rate)进行跨像素点卷积以提高感受野。有些许不同。其中BasicRFB有五个并行的卷积，主要使用到的RFB模块有两种，一种是Ba-第一至第四分支各自经过数层卷积后通过一个sicRFB,另一种是BasicRFB-a。两者使用的思想11的卷积与第五分支进行合并,其中第五分支相同,都借鉴了Inception算法的思想,但是构造为一个残差结构,结构如图2 所示。OutputAdd常杰等Concat and 1x1 conv2d3x3conv2ddilation_rate=11x1 conv2dBasicRFB-a的结构与BasicRFB相似，为八个并行的卷积，第一至第七分支各自经过数层卷积Concat and 1x1 conv2d3x3conv2d3x3conv2ddilation_rate=dilation_rate=311 conv2d31 conv2d1x1 conv2d3x3conv2ddilation_rate=33x3conv2d1x1 conv2d3x3conv2ddilation_rate=31x3conv2d1x1 conv2d3x3conv2ddilation_rate=53x3 conv2d3x3 conv2d1xI conv2dinput图2 BasicRFB结构图后通过一个11的卷积与第八分支进行合并，其中第八分支为一个残差结构，结构如图3所示。OutputAdd3x3conv2d3x3conv2ddilation_rate=5dilation_rate=53x1 conv2d1x3conv2d1x1 conv2d1x1conv2d3x3conv2ddilation_rate=77x1 conv2d1x7 conv2d1x1 conv2d3x3conv2ddilation_rate=73x1 conv2d1x3conv2d1x1 conv2dShortcut3x3conv2ddilation_rate=71x3conv2d3x1 conv2d1x1 conv2dShort cutinput图3BasicRFB-a 结构图2.2SSD主干网络修改在SSD主干网络VGG16的基础上添加了RFB模块。具体修改如下：将经过处理之后的conv4-3层得到的特征与FC7层获得的特征进行99一基于改进SSD网络算法的居民楼道内安全隐患的目标识别堆叠之后输人到BasicRFB得到了形状为（38,38，512）的特征。将原先的FC7、Co n v 6、Co n v 7、3003003Input ImageInputs(300,300,3)VGGup toconv4-3(38.38.512)MaxPool stride=2(19,19,512)Conv2d X3+MaxPoolstride=1(19,19,512)Conv2d dilation=6(19,19,1024)fc6Conv2d(19,19,1024)fc7BasicRFB P4(19,19,1024)BasicRFB stride=2P5(10,10,512)BasicRFBstride=2P6(5,5,256)Conv2d(5,5,128)Conv2dP7(3,3,256)Conv2d(3,3,128)Conv2d P8(1,1,256)3实验结果及分析3.1实验环境实验中测试网络使用环境是：处理器AMDR5-2600X,GPU 为 NVIDIA GTX 1066SUPER,运行内存16 G,Windows1064位系统，使用Tensor-Flow2.0为深度学习框架，编程语言Python3.8。3.2数据集建立将采集到的数据使用Labelimg工具进行目100一一常杰等Conv8、C o n v 9层替换成了RFB模块。网络结构如图4所示。总先验框：8 7 32Conv2d(38,38,256)Cat(38,38,512)UpSampling(38,38,256)Conv2d(19,19,256)Detector&ClassfierDefault box=6先验框：19196=2 16 6Detector&ClassfierDefault box=6先验框：10 10 6=6 0 0Detector&ClassfierDefault box=6先验框：556=150Detector&ClassfierDefaultbox=4先验框：334=36Detector&ClassfierDefault box=4先验框：114=4图4改进后VGG16网络结构图标标注,生成相应的 XML文件并使用程序生成含标注信息的TXT文件用于训练过程,使算法程序能够顺利读取数据。在对目标进行标注时选取能够对居民楼道造成安全隐患的物品，主要依照两个原则：有造成火灾隐患的物品；会造成逃生、消防通道堵塞的物品。共标记了三个物品分别是bigpower（电动车）、paperbox（纸箱）、sundries(杂物）。BasicRFB_aP3(38,38,512)先验框：38 38 4=57 7 6Detector&ClassfierDefault box=6NMS基于改进SSD网络算法的居民楼道内安全隐患的目标识别3.3数据训练读取8 张图片并且解冻所有参数。在训练过程中神经网络的训练需要庞大的数据支持，但是根据情况对 epoch 进行调整,监控val_loss 的变化由于小区楼道的信息具有一定的私密性,所以能情况如果出现10 个epoch都没有变化的情况那够获得的数据量并不大，直接使用其数据集进行么就判断模型收敛,将停止训练。整个训练过程训练效果不佳,所以在对目标数据集进行训练时中将90%的数据用于训练，10%的数据用于验引入了迁移学习的思想。迁移学习是将已经训练证。保存每一个epoch 的训练权重参数并计算好的模型参数作为将要训练模型的初始参数并进loss 值。行后续训练的思想，使用迁移学习能够加快模型3.4结果分析训练速度提高模型训练效果。本文方法是将RFB模块加人VGG16网络使用改进后SSD算法训练好的参数权重进中,通过增加特征提取的感受野的方式提高特征行迁移学习,整个训练过程分为150 个epoch。为提取能力并以此提高目标检测的准确率。为验证了进一步加快训练的速度,所以将前50 个epoch改进前后的模型效果，先通过VOC2007数据集进设置为冻结训练，冻结一部分参数之后进行训练，行测试,将原始的SSD模型的训练效果与本文模冻结训练的学习率为510-4,每次读取16 张图型进行对比。在训练过程当中保存了两种模型的片;后10 0 个epoch 将学习率调整为110-4每次loss变化过程，如图5所示。ALoss CurveALoss Curve二train loss6.59二valloss-smooth train loss=smooth val loss8SSOT6540可以看出算法改进前后的变化,改进后loss下降到2.5并且使用了更少的epoch,证明了改进后的算法在特征提取方面要优于改进前，且能够在使用更少资源的情况下达到更好的效果。将训练好的权重参数载人到预测网络当中就可以进行实时的检测了。训练完成后选取修改前后最优参数进行测试得出其平均精度均值（meanAverage-Precision，mAP）,其mAP结果如表2 所示。表2 算法改进前后mAP值对比算法网络SSDmAP/%73.58一常杰等一train loss-val loss6.0-smooth train loss5.5-smooth val loss5.04.03.53.02.5204060SSD网络损失下降图图5SSD网络与改进后SSD网络损失下降对比图bigpower(电动车)paperbox(纸箱)改进后SSD79.95800102030405060改进后SSD网络损失下降图通过表2 可以看出,经过改进后的 SSD网络在目标检测的准确率得到了提升,在VOC2007 测试集上有6.37%的mAP提升。模型训练完成，对18 3个测试集进行测试,得到算法改进前后的mAP值,结果如表3所示。表3算法改进前后针对测试集mAP值对比SSD平均精度检测物体(mAP/%)89.691.5sundries(杂物)87.3改进SSD平均精度(mAP/%)91.393.292.6一10 1一基于改进SSD网络算法的居民楼道内安全隐患的目标识别常杰等一通过本文对SSD算法的改进，在对楼道安全隐患的检测中能够更加准确的检测物体。在 SSD网络与改进后SSD网络监测效果对比图6 中可以看到改进后的能够准确地检测到纸箱子,并且对电动车的检测上准确率也更高。925paperhox0.83bigpower0.6obigpower0.87paperboxSSD网络识别图6 SSD网络与改进后SSD网络检测效果对比图4结束语自诞生至今，机器视觉应用在众多的领域当中,本文提出将机器视觉技术应用于基层管理当中，一方面提高了管理的效率,另一方面大大降低了管理成本。并且为了能够更好地对目标进行检测,本文提出在原始的目标检测算法SSD的基础上增添RFB模块以提升目标检测的效果。改进后的 SSD算法在应用过程中平均精度可以达到91.3%以上,相较于原始的SSD算法在检测准确度上有一个很高的提升。但是为了增强特征提取能力使得特征提取网络变得更加复杂，虽然在训练过程中能够在一定程度上减少时间，但在实际使用过程中检测图片视频中目标时速度上要稍逊于原始的网络，速度虽稍逊于原始网络但是依旧能够满足实时检测的要求。在之后的研究过程中,应考虑在保留或提高检测准确率的基础上提高算法的检测速度。除了在检测算法上的改良，应该考虑如何更好地应用于基层管理当中,为基层管理者设计一套简单可用的系统也是之后研究的一个方向。参考文献：1 Cai Zhao-wei,Nuno V.Cascade r-enn:high quality objectdetection and instance segmentation J.IEEE Transac-tions on Pattern Analysis and Machine IntelligenPe,2019,51(23):25-33.一10 2 一改进后SSD网络识别2 Hung G L,Sahimi M S,Samma H,et al.Faster R-CNNdeep learning model for pedestrian detection from droneimages J.SN COMPUT,2020,1(8):116-120.3李乐辰,柳晓鸣，成晓男.融合YOLO检测的多目标跟踪算法J.计算机工程与科学，2 0 2 0,42（4）：6 6 5-672.4 Li Hao-tian,Lin Ke-zheng,Bai Jing-xuan,et al.Smallobject detection algorithm based on feature pyramid-en-hanced fusion SSD J.IEEE International Conferenceon Network Infrastructure,2019,21(73):336-340.5周强,夏明赞.基于改进SSD算法的多无人机检测研究J.信息技术,2 0 2 0,44（12)：7 1-7 6.6张建新,黄少罗，卜昭锋，等.基于机器视觉的批量缴获器材战场保障研究J.信息技术，2 0 18,42（12）：70-74,79.【7 李大国，陈文，刘涛.安卓平台上基于机器视觉的仪表检测J.信息技术,2 0 2 0,44（5）：10 8-111,116.8施冬梅.基于改进SSD算法的安全驾驶行为检测方法研究J.现代电子技术,2 0 2 1,44（11）:6 7-7 2.9张铠臻,李艳武,刘博，等.基于VGG16网络的超参数调整策略的研究J.科技与创新，2 0 2 1（2 2）：10-13.10曹建芳,闫敏敏,贾一鸣，等.融合迁移学习的Incep-tion-v3模型在古壁画朝代识别中的应用J.计算机应用,2 0 2 1,41(11):32 19-32 2 7.（责任编辑：丁玥）