基于国产平台的轻量化遥感图像目标检测方法.pdf

DIGITCW技术 分析Technology Analysis54DIGITCW2023.090 引言近年来，端智能正逐渐变为趋势，与服务端智能相比，具有低延时、兼顾数据隐私、节省云端资源等优势，目前已经在工业质检、无人巡检等应用场景中发挥了巨大价值。随着无人机技术的快速发展，针对光学遥感图像的实时检测需求也日益增多，尤其是针对遥感图像的飞机目标检测技术可广泛用于侦察、救援等方面，具有十分重要的研究意义。随着传感器设备的发展，遥感图像数据的分辨率以及规模不断扩展，如何在端侧设备中实现精准、快速检测目标成为一个亟须解决的问题。传统光学遥感图像信息提取主要依赖人工传统机器学习算法对光谱、纹理、形状等底层特征进行描述，如SIFT（Scale Invariant Feature Transform）、HOG（Histogram of Oriented Gradients）、SURF（Speeded-Up Robust Features）等1，该检测方法包含了特征区域提取、特征提取、分类器分类以及检测结果处理等步骤，存在流程复杂、时间复杂度高等问题。此外，在实际应用中，由于数据采集过程中存在遮挡、抖动、辐射等因素的影响，导致收集的遥感图像数据差异较大、质量不高，此时的检测精度将会受到严重影响。深度学习技术的出现，为遥感图像目标检测提供了新思路。基于深度学习的目标检测模型能够自动提取特征，不仅避免人工设计特征的复杂流程，并且能够学习到遥感图像中更加丰富的高层语义特征2，同时基于深度学习的目标检测技术在具有复杂背景的情况下依然能够保持较高的精度和速度。基于深度学习的目标检测模型主要分为基于区域提议网络（Region Proposal Network，RPN）的两阶段算法和直接回归边界框（Bounding Box）的单阶段算法，单阶段算法虽然精度稍差，但具有较快的速度，近年来涌现了多种针对单阶段目标检测进行优化的算法，精度和速度都有了较大提升。YOLO（You Only Look 作者简介：周春云（1979-），男，汉族，江苏扬州人，正高级工程师，本科，研究方向为计算机与信息系统、电子与通信工程以及人工智能等产品和应用。基于国产平台的轻量化遥感图像目标检测方法周春云，吴叶呈（扬州万方科技股份有限公司，江苏 扬州 225000）摘要：针对遥感图像目标检测模型在国产平台上训练算力支撑不足以及推理性能不高等问题，文章提出一种轻量化的遥感图像目标检测方法，以轻量级深度学习网络YOLOv5s为基础对其进行改进，通过在Backbone骨干网络中添加轻量级注意力模块CBAM以提升模型的检测精度，并结合国产AI卡特点完成算子适配和模型转换，最终将转换后的模型部署在国产智能终端上。实验以遥感图像飞机目标作为检测对象，结果表明，文章提出的目标检测模型AP值为96.9%，在智能终端中的检测速度为48.5FPS，能够满足端侧部署的实时性要求。关键词：国产平台；轻量化；目标检测；端侧部署doi：10.3969/J.ISSN.1672-7274.2023.09.018中图分类号：TP 7 文献标志码：B 文章编码：1672-7274（2023）09-0054-04Lightweight Remote Sensing Image Target Detection Method Based on Domestic PlatformZHOU Chunyun,WU Yecheng(Yangzhou Wanfang Technology Co.,Ltd.,Yangzhou 225000,China)Abstract:A lightweight remote sensing image target detection method was proposed to solve the problems of insufficient training computing power and poor reasoning performance of remote sensing image target detection model on the domestic platform.Based on lightweight deep learning network YOLOv5s,this paper improves it.Lightweight attention module CBAM is added to the Backbone network to improve the detection accuracy of the model.Operator adaptation and model transformation are completed by combining domestic AI Carter point.The experimental results show that the AP value of the proposed target detection model is 96.9%,and the detection speed in the intelligent terminal is 48.5FPS,which can meet the real-time requirements of end-to-end deployment.Key words:domestic platform;Lightweight;object detection;end-to-end deploymentDCWTechnology Analysis技术分析55数字通信世界2023.09Once）系列是典型的one-stage（单阶段）目标检测模型，该方法通过特征提取网络对输入图像提取特征后，直接对目标位置和类别信息进行预测，与两阶段方法相比具备更快的检测速度3，能够为端侧实现遥感图像目标快速精准检测提供有利的技术支撑。受软、硬件条件的限制，人工智能技术在国产处理器平台中的发展明显滞后于国外X86等商用平台，嵌入式设备算力资源、存储空间以及续航等有限，而智能化应用又对速度和精度都有着很高的要求，深度卷积神经网络目标检测模型具有网络层次深、参数量大等特点，这就为其在算力不足的国产平台上执行训练以及在端侧部署应用带来了巨大挑战。目前在人工智能计算领域，国产平台上传统的芯片计算架构已无法支撑深度学习等模型计算需求，需要新的底层硬件来更好地储备数据、加速计算过程。在国外，英伟达主打的GPU加速模块较为成熟，Intel围绕FPGA构建产业，推出模仿人脑的人工智能芯片，谷歌也推出了第二代TPU芯片。但上述芯片所配套软件栈没有进行开源，因此在国产平台中无法完成适配且无法实现从硬件到软件的技术完全自主可控。国产人工智能处理器起步较晚，但已有多家单位相继推出了适应于深度神经网络计算的AI芯片，如华为的昇腾系列产品、百度的昆仑芯等，且其配套生态较为成熟，为其在国产平台完成适配提供了保障。通过形成CPU+协处理器的异构计算系统，可有效解决国产设备计算能力不足的问题，规避了传统的芯片计算架构难以支撑深度学习模型计算需求的问题，为遥感图像目标检测模型的部署应用提供了加速支撑能力。本文首先针对遥感图像目标检测模型的开发和部署，基于国产飞腾服务器以及昇腾Atlas200dk智能终端构建基础开发和推理运行环境，在充分考虑国产平台算力以及AI加速卡算子支持等因素的情况下，提出了一种基于改进YOLOv5s轻量化深度学习网络的遥感图像飞机目标检测方法，不仅能够减轻深度学习模型在国产平台上的训练压力、提升模型的运行效率，同时也能够保证模型在端侧场景下的检测精度和实时性。1 改进YOLOv5s目标检测模型YOL O v5模型是当前通用的目标检测算法之一，被广泛应用于各类对象检测中，与YOLOv4模型相比，YOLOv5结合了近几年深度学习领域多种较为优秀的思想，具备更高的检测精度和速度。YOLOv5主要由输入模块、Backbone骨干网络、Neck颈部模块以及Head头部检测模块四个部分组成。其中Backbone骨干网络由CSPDarkNet53构成，主要用于实现目标特征提取。Neck颈部模块由FPN和PAN结构构成，主要用于实现目标特征的融合处理。Head头部检测模块主要用于最终的回归预测，输出检测目标的位置和类别信息。YOLOv5网络有s、m、l、x四种版本结构，其中，YOLOv5s模型是YOLOv5系列中深度最小、特征图宽度最小的网络模型，对部署硬件设备的要求较低。在深度神经网络模型中，模型参数越多虽然其表达能力也越强，但也同时带来了信息过载问题，为进一步提升模型的精度，通过引入注意力机制使得网络更加关注感兴趣区域，忽略目标以外的复杂背景干扰信息。注意力机制起源于自然语言处理领域，其本质与人类观察事物的机制类似，能够使得模型在提取特征时更加具有针对性。注意力机制是通过掩码实现，不同位置具有不同的注意权重，在训练过程中模型将学习每张图片中的关键区域，并通过权重将关键特征标识出来，从而过滤掉无用信息。其中，CBAM4模（Convolutional Block Attention Module）是一种轻量级的、即插即用的注意力模块。CBAM模块结构主要包含了通道注意力（Channel Attention Module，CAM）模块和空间注意力（Spacial Attention Module，SAM）模块两个独立的子模块，能够在通道和空间两个维度上生成注意力图。增加该模块不会产生过多的参数，可在各类网络中进行使用，且能够提高模型对小目标的检测能力5以及提升模型的泛化能力。因此，本文在YOLOv5s模型基础上通过增加CBAM模块实现优化，改进后的模型结构如图1所示。图1 改进YOLOv5s模型网络结构通过在YOLOv5s模型的Backbone部分的C3后面添加CBAM，以此提升特征图中的目标在通道和空间DIGITCW技术 分析Technology Analysis56DIGITCW2023.09上的注意力。由于遥感图像具有数据量大、小目标多且含有复杂的背景信息的特点，通过增加通道和空间注意力模块，能够捕捉和检测目标强相关的关键特征，弱化其他不重要的无关信息，从而实现模型精度的提升。2 实验与分析2.1 国产环境搭建模型训练环境基于国产飞腾2000+服务器进行搭建，适配国产麒麟操作系统、Python开发环境、CANN5.0.3、开源Pytorch1.8.1计算框架，通过国产多核处理器完成轻量化模型训练和验证，模型训练环境中的CANN主要用于模型转换。模型推理运行环境基于国产华为Atlas200dk智能终端设备搭建，适配AI芯片驱动、CANN5.0.3，训练完成的模型最终在Atlas200dk中进行部署和推理测试，模型推理运行环境中的CANN主要提供了模型推理运行加速库。2.2 实验数据本文数据集选用的是开源RSOD遥感图像数据集，以其中的飞机目标作为检测对象。通过旋转、添加噪声、对比度变换、缩放等操作对数据集进行扩增，最终得到共2 230张图像，并按照81 1将数据集切分为训练集、验证集和测试集。2.3 模型评价指标本文中的目标检测模型采用平均精度（Average Precision，AP）、模型大小（MB）、每秒检测帧数（Frames Per Second，FPS）作为评价指标。其中，AP为IoU阈值为0.5时的值。2.4 模型训练与转换根据国产平台的设备性能，模型训练配置批处理大小Batch Size为16，训练周期Epoch为200，初始学习率为0.01，采用SGD随机下降梯度法训练模型，输入尺寸大小为640640。Atlas200dk支持的部署模型格式为om模型，基于Pytorch框架训练好的模型格式为pt格式，将其部署到Atlas200dk智能终端上，需要进行模型格式转换。具体实现步骤如下。首先将训练好的pt格式模型转换为onnx中间表示格式，onnx是一种开放式的文件格式，能够使得不同类型的模型在各类主流框架间实现互转。采用CANN中的模型转换工具ATC（Ascend Tensor Compiler，昇腾张量编译器）将onnx中间格式模型转换为昇腾AI处理器支持的om格式离线模型。ATC工具支持将onnx、pb、caffe等格式模型转换为om模型，在进行模型转换时，会在权重数据、内存使用、算子调度等方面对原始模型进行优化，从而使得模型能够在昇腾AI处理器上实现更高的性能。基于CANN中的模型推理接口开发模型推理程序，将om模型和推理运行程序部署在Atlas200dk中执行测试。2.5 实验结果与分析本文采用模型的训练结果如表1所示，本文的模型AP达到了96.9%，转换前模型的大小为17 MB，由于ATC工具在模型转换过程中会对部分算子进行融合处理，通过ATC转换工具转换后的om模型大小缩减到了15.33 MB。将om模型在Atlas200dk终端设备中进行部署测试，其检测效率达到了48.5 FPS，能够满足实时性检测要求。为了验证本文采用模型的性能，将采用本文模型与改进前的YOLOv5s-baseline、兼顾精度和体积的NanoDet轻量化模型的性能进行了对比。与YOLOv5s-baseline相比，本文采用模型的精度提升了1.2%，转换前的YOLOv5s-baseline模型大小与本文采用模型相差较大，转换后的模型仅比本文采用模型减少了0.53 MB，由于增加了3个CBAM模块，本文采用模型的推理性能略差于YOLOv5s-baseline。本文采用模型与轻量级模型NanoDet进行相比，虽然检测速率远不及NanoDet，但检测精度比NanoDet模型提高了6.8%，NanoDet在小目标以及重叠目标的检测上效果不及本文采用模型，存在较多漏检情况。表1 不同模型指标对比情况模型名称AP（%）pt模型大小（MB）om模型大小（MB）FPSNanoDet90.1 7.38 4.790.9YOLOv5s-baseline95.7 13.7 14.854.6本文模型96.9 17 15.3348.5为充分说明本文采用模型的优越性，挑选了具有不同背景、含有小目标样本以及包含重叠目标的测试结果图片。该模型基本能够准确地标注出遥感图像中所有的飞机目标，针对部分小目标以及重叠目标也能够实现准确标注。3 结束语本文中首先基于国产飞腾2000+平台和Atlas200dk智能终端构建了训练模型并部署运行环境，在充分考虑国产平台算力和AI芯片算子支持等因素基础上，针（下转第134页）DIGITCW技术 应用Technology Application134DIGITCW2023.09分类指标、分类统计、评估报告、地图展现这几大方面分析和展示水厂运行情况；实时掌握水厂的综合运行状况，有效地指导水厂优化生产过程。管网风险评估专题展示以GIS地图形式显示全市各供水公司管网的风险情况，从评估结果、评估等级、预警信息、管网漏损、管网改造、管网关键影响要素、爆管时空分布、三交管线、深基坑等方面对管网进行监控、分析与可视化展示，指导供水公司的管网运维、改造工作。3 展望城市供水动态评估体系对原水、制水、供水业务的指导、预警预报、供水行业监管及社会信息的发布发挥重要价值。3.1 指导供水业务城市供水动态评估体系从多角度出发进行评估，使评估更全面，让原水系统、水厂系统、输配系统以及二供系统可以联合评估，从而得出整个供水系统的评估值。业务人员可以根据各运行安全评估系统中相应的分值，来指导供水企业调整所属水源地以及水厂工艺流程，并优化企业运行管理，加强风险防控，有效监督整个供水过程，从而提升各供水企业的管理水平，提质增效。3.2 预警预报实现实时在线报警，让业务人员第一时间感知生产异常，实现从“人眼识别”向“智能监控”的转变。常见的单点预报警可能会由于数据覆盖面不全而导致误报，通过供水动态评估的多指标评估联动，可以使得原水、制水、供水预报警更加完善，提高相关供水企业的应急处置能力，保障供水安全。3.3 对接“一网统管”对接城市“一网统管”系统，根据供水系统运行健康的评估成果，加强供水行业的监管，为政府提供决策支持，提升政府供水管理部门的管理水平和服务水平。3.4 社会信息发布供水系统运行健康的评估成果向市民进行公布，有利于加强供水水质的监管与信息的发布，提高水质信息透明度，提升公众的幸福度与参与感，有效保障人们的用水安全问题。参考文献1 钱宁，陈新保，黄鹏，等城市运行体征评价体系研究 以北京、上海、广州和深圳为例J大众科技，2014(6):249-252.2 何姝，李义连，王志苗，等城市化条件下供水安全风险评估及管控策略J清洗世界，2022(2):145-147.3 DB 31/T 13322021，城市供水管网安全风险评估技术规范S上海市市场监督管理局，2021.4 王雪峰我国供水企业数字化转型实现路径的探索与思考J净水技术，2022(9):1-7.对遥感图像目标检测提出了一种基于改进YOLOv5s轻量化深度学习网络的目标检测方法，并在智能终端设备中验证了模型的检测性能。实验表明，本文提出的方法在遥感图像飞机目标检测应用中，AP值达到了96.9%，在Atlas200dk终端设备中部署的模型仅为15.33 MB，其检测效率达到了48.5FPS，与改进前的模型相比，虽然模型大小有少部分增加，但提高了模型的检测精度，且在资源受限的终端设备中也能够具备较高的检测效率，虽然牺牲了检测效率，但仍然能够满足端侧部署的实时性检测要求。本研究成果可推广至红外、雷达等图像目标检测应用场景。参考文献1 涂媛雅，汤国放，张建勋Lite-YOLOv3轻量级行人与车辆检测网络J小型微型计算机系统，2023,44(01):211-217.2 方路平，何杭江，周国民目标检测算法研究综述J计算机工程与应用，2018,54(13):11-18+33.3 邵延华，张铎，楚红雨，等基于深度学习的YOLO目标检测综述J电子与信息学报，2022,44(10):3697-3708.4 Woo S,Park J,Lee J Y,et al.CBAM:convolutional block attention moduleEB/OL.(2018-07-17)2021-04-07.https:/arxiv.org/abs/1807.06521.5 李小波，李阳贵，郭宁，等融合注意力机制的YOLOv5口罩检测算法J图学学报，2023,44(01):16-25.（上接第56页）