基于改进PointPillars点云目标距离判断分析方法.pdf

2023 年第 9 期72计算机应用信息技术与信息化基于改进 PointPillars 点云目标距离判断分析方法张惠荣1 王秋媚2 张建锋1 蓝 钢1 张 磊2ZHANG Huirong WANG Qiumei ZHANG Jianfeng LAN Gang ZHANG Lei 摘要 结合 PointPillars 点云目标检测算法，提出了一种引入自注意力机制的改进 PointPillars 算法用于检测输电线路巡线点云的目标物体，提升了点云物体检测网络 PointPillars 在点云目标物体检测的准确率，降低了点云目标识别的误报率。实验结果表明，与原始的 PointPillars 方法相比，在不改变 PointPillars 的检测效率高的优势下，进一步提升了算法的性能。关键词 无人机点云目标检测；PointPillars；自注意力机制 doi：10.3969/j.issn.1672-9528.2023.09.0161.广东电网有限责任公司惠州供电局 广东惠州 5160002.广州中科智巡科技有限公司 广东广州 5106230 引言输电线路是否安全运行是衡量电网可靠性的重点内容1。输电线路日常巡线任务之一就是开展输电线路安全运行的通道隐患排查2。PointPillars 借鉴了以 PointNet 和 VoxelNet 两种网络的3D 目标检测算法的鸟瞰图方式，将传统的网格体素化转化点柱（pillars）体素化，降低了计算资源消耗，提高了框架运行速度。通过引入自注意力机制方法，进一步提升算法的检测性能，分离出点云的检测目标，包括输电线、地面等目标，通过分析目标的相对位置关系，为后续的线路安全隐患分析提供用于分析的空间数据。1 相关理论1.1 三维目标检测模型PointPillars 算法发展出了一种新的点云表征方法 Pillar，使用该方法可以把三维的点云数据转换为另一种形式的数据-伪图像，进而使用 2D 卷积的方法进行目标检测。1.2 自注意力机制自注意力机制（self-attention）是网络的一种构型，当输入的是一组长度可能会发生变化的向量时，实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果极差3。引入自注意力机制的每个单元都可以捕捉到整句的信息，可以并行计算，以及关注输入之中不同输入分量之间的相关性。2 本文算法本文首先对扫描到的数据进行前景点云提取并利用体素网格滤波进行降采样处理，随后对 PointPillars 算法中引入自注意力机制（对点柱的空间特征信息进行增强），再使用RPN（区域生成网络）输出检测出的目标三维检测框。2.1 点柱特征编码点云预处理后的数据进行体素化操作4，再对数据进行点柱特征编码，得到伪图像信息，如图 1 所示。图 1 点柱特征编码对于点云数据进行预处理得到新的点云数据(n,4)，第一步对离散点云进行体素化。其形式为：(1)为了增强每个点云的显性特征，将每个点柱中的点云都编码成 9 维向量，其公式为：(2)式中：x、y、z 表示点云的原始偏移坐标；r 表示每个点云的反射强度；xi-cx、yi-cy、zi-cz表示该点到所处点柱中所有点算数平均值的距离；xi-vx、xi-vy表示该点到该点柱水平中心的偏移值。2023 年第 9 期73计算机应用信息技术与信息化2.2 引入自注意力机制的点柱特征增强算法实现PFE 模块对原始点云的点柱特征信息进行编码，融合点柱之间的关联信息特征5，如图 2 所示。图 2 自注意力机制首先利用三个 1*1 的卷积核，对检测网络原始的特征图分别进行三次处理，新的 3 个特征图分别记作 Q（query）、K（key）、V（value）。第一步，利用多层感知机、拼接、点积等相似度函数对 Q 和 K 进行相似度分析，得到两者间的关系矩阵。第二步是利用 softmax 将关系矩阵归一化即为注意力矩阵。第三步将注意力矩阵与 V 进行加权求和，最终得到输出结果，即注意力特征图，如图 3 所示。图 3 自注意力机制下的点柱特征增强算法结构点柱的数据可由公式表示为：(3)式中：P 代表每一帧点云的特征矩阵，N 代表点柱的数量，d代表每个点柱的数据维度。首先将 P 输入利用三个 11 的多层感知机制，对每个点柱进行映射到高维特征空间操作，得到的三个新点柱特征矩阵为 Qp、Kp以及 Vp，其公式为：(4)接着需要求解 Qp与 Kp之间的关系矩阵，首先将 Kp进行转置，对KpT和Qp作乘积计算其相似性，得到的关系矩阵A为：(5)利用 Softmax 对相关性矩阵 A 进行归一化，其公式为：(6)最后将 An与 Vp做矩阵乘积操作，如式(7)所示，将空间联系特征与原始的 pi特征进行相加，从而完成了将一个点柱的特征用所有相关点柱进行信息增强的目的。(7)最终得到经过点柱特征增强后的特征矩阵 Rs。2.3 区域生成网络经过 PFE（点柱特征编码）以及点柱特征增强之后，生成格式为(C,H,W)的伪图像。利用 2D 目标检测中的 RPN 对伪图像进行检测，输出最终的目标结果6，输入任意尺寸的 2D 图，最终输出一系列的候选框，其主要结构如图 4 所示。图 4 RPN 网络结构RPN 首先利用 33 的卷积块对原始特征图进行处理，针对同一目标，只留下得分最高的候选框，并删除其余候选框中与其面积交并比大于一定阈值的选项，然后输出最终的检测结果7。2.4 损失（Loss）函数设计本文设计的损失函数由定位损失、分类损失、方向损失构成8。2.4.1 定位损失 定位损失（smoothL1）函数为：(8)真实框与预测框之间的回归残差定义如下：(9)式中：，最终得到本文的定位损失：(10)2.4.2 方向损失数据集中的真实框带有方向值，可以用来进行目标朝向的回归9。本文使用的方向损失函数如式(11)：(11)式中：为目标真实方向，为预测方向，当时，方向损失趋近于 0，避免了上述情况的发生，有利于模型训练。2023 年第 9 期74计算机应用信息技术与信息化2.4.3 分类损失分类损失（focal loss）是在交叉熵函数的基础上，通过给不同样本的损失添加不同的权重，来解决对分类算法问题中的类别不平衡，分类难度差异较大的情况。交叉熵函数可表示为：(12)3 实验过程与结果分析3.1 数据集分拣、标注与数据集划分通过无人机巡检输电线路来采集点云数据，标注的信息包含类别名称和位置信息 Xmin、Ymin、Zmin、Xmax、Ymax、Zmax。将数据按照 3:1:1 的数量比例划分出训练集、验证集和测试集。3.2 前景点云提取与体素网格滤波激光雷达采集的数据会含有噪点，将要处理的是以帧为单位的点云数据，创建一个动态数组用来保存每一帧的点云数据10。前景提取后的为：(13)(14)原始点云数据采用立方体中的重心代表整个立方体内的激光点，达到降低点云密度的目的11。如图 5 所示为点云数据滤波前后的对比。图 5 点云滤波对比3.3 实验环境与配置表 1 实验配置CPUXEON E5-2620V4 处理器，主频 2.10 GHz，8C/16 T显卡NVIDIA Geforce 3090ti操作系统Redhat Centos 7.9CUDA11.3CUDNN8.2.13.4 算法训练与结果测试表 2 算法实验结果模型ModalitymAP铁塔线路PointPillarsLidar59.88%75.99%62.55%改进 PointPillarsLidar68.42%81.98%70.87%如图 6 所示，对目标物体进行检测。图 6 算法检测图示3.5 距离分析与计算通过目标检测的结果分离出的线路数据，通过对地面的植被滤波和平面拟合，得到地面平面的高度信息 zg，这样输电线上每一点距离地面的高度即为 zpn-zg。通过分析比较，得到输电线的实际距离地面高度，为以后分析输电线安全隐患，提供了可靠的高度信息。4 结语本文提出的引入自注意力机制改进 PointPillars 的方法，通过改进的方法在不损失算法的计算性能的情况下，提升了算法的识别检测的性能。该算法相比于以往的人工判读分析方法大大提高了作业的高效性，具有召回率高、误检率低的优势，对线路三维巡检运维具有一定的参考价值。未来，将进一步结合该算法以及其他检测目标，如大型施工机械等，进一步分析在三维空间下的隐患识别方法，提升日常激光点云巡线的效率和实用性。参考文献：1 葛建伟,赵剑松,王佳坤,等.输电线路多维度防外破体系探索 J.机电信息,2019(29):19-20.2 林 灿雄.馈线自愈技术方案及其保护配合 J.机电信息,2019(29):18-19.3 Y UAN W W,PENG D L,WU S H,et al.自注意力机制支持下的混合推荐算法 J.小型微型计算机系统,2019,40(7):1437-1441.2023 年第 9 期75计算机应用信息技术与信息化基于单视角图像的人体三维重建研究夏雪吟1,2 陈建刚1XIA Xueyin CHEN Jiangang 摘要 为了使得人体三维建模技术不受高昂仪器费用所限制，可以被更多的普通用户所接受，提出了一种基于单视角图像的人体三维模型重建的方法。该方法通过结合参数化结构的表达，并在此基础上引入了人体法向图和基于骨架的结构先验作为先验信息，在基于隐式函数的方法上进行改进得到一种基于全先验信息的重建方法。在相同数据集上将本方法与 PIFu、PIFuHD、PaMIR、ICON 选取了三个评价标准进行多次对比试验，其中真实模型与预测模型间的距离平均下降约 40%，法向一致性平均提升约 4%。实验结果表明，利用改进算法进行人体三维模型重建，能够提高重建模型的准确性和细节丰富度。关键词 人体三维重建；隐式函数；SMPL 模型；深度学习；3D 关键点检测 doi：10.3969/j.issn.1672-9528.2023.09.0171.华东师范大学通信与电子工程学院 上海 2000622.中国铁路上海局集团有限公司 上海 2000700 引言人体三维建模目前是三维重建领域方面的研究热点，在行为识别、医学治疗和虚拟现实等领域中都具有广泛的应用前景。关于人体模型的三维重建工作最早可以溯源到1950年，Hudson 团队率先利用计算机生成了第一个人体模型，该研究也在之后的人机工程学方面取得了广泛的应用。随后发展到20世纪80年代，加拿大和美国也着手于对虚拟人方面的研究，先是模拟真实人体的面部和身体，再是研究模拟人物的骨架，极大地推动了三维人体重建领域的发展1。再后来随着计算机技术和相关硬件设备的发展，各类人体三维重建的方法被越来越多的学者提出，对重建出的模型要求也从最开始的完4 薛 连杰,齐臣坤,张彪,等.基于 3 维点云欧氏聚类和RANSAC 边界拟合的目标物体尺寸和方位识别 J.机械设计与研究,2018,34(5):44-48+53.5 袁 铭阳,黄宏博,周长胜.全监督学习的图像语义分割方法研究进展 J.计算机工程与应用,2021,57(4):43-54.6 易 继禹,陈慈发,龚国强.基于改进 Faster RCNN 的输电线路航拍绝缘子检测 J.计算机工程,2021,47(6):292-298+304.7 胡尚薇.一种基于运动目标检测和深度学习技术的烟雾检测方法:CN114332739AP.2022.8 R EN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networksJ.IEEE transactions on pattern analysis and machine intelli-gence,2017,39(6):1137-1149.9 L IU W,ANGUELOV D,ERHAN D,et al.Ssd:Single shot multibox detectorC/European Conference on Computer Vi-sion.Cham:Springer,2016:21-37.10 M ILLETARI F,NAVAB N,AHMADI S A.V-net:Fully convolutional neural networks for volumetric medical image segmentationJ.Clinical orthopaedics and related research,2016:565-571.11 薛 培林,吴愿,殷国栋,等.基于信息融合的城市自主车辆实时目标识别 J.机械工程学报,2020,56(12):165-173.【作者简介】王秋媚（1993），通信作者，女，广东湛江人，本科，助理工程师，研究方向：计算机视觉的图像目标检测算法。张惠荣（1980），男，广东惠州人，大学硕士研究生，高级工程师，研究方向：数字输电及智能电网。张建锋（1990），男，广东惠州人，本科，工程师，研究方向：输电线路运维与管理。蓝钢（1993），男，广东汕尾人，大学本科，助理工程师，研究方向：无人机智能化与自动化。张磊（1990），男，安徽淮南人，研究生，中级工程师 研究方向：计算机视觉的图像目标检测算法。（收稿日期：2023-08-01 修回日期：2023-08-26）