ImageVerifierCode 换一换
格式:PDF , 页数:9 ,大小:2.72MB ,
资源ID:1989717      下载积分:10 金币
验证码下载
登录下载
邮箱/手机:
验证码: 获取验证码
温馨提示:
支付成功后,系统会自动生成账号(用户名为邮箱或者手机号,密码是验证码),方便下次登录下载和查询订单;
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

开通VIP
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.zixin.com.cn/docdown/1989717.html】到电脑端继续下载(重复下载【60天内】不扣币)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录  
声明  |  会员权益     获赠5币     写作写作

1、填表:    下载求助     索取发票    退款申请
2、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
3、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
4、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
5、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
6、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
7、本文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。

注意事项

本文(基于D-S证据理论的多模态结果级融合框架研究.pdf)为本站上传会员【自信****多点】主动上传,咨信网仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知咨信网(发送邮件至1219186828@qq.com、拔打电话4008-655-100或【 微信客服】、【 QQ客服】),核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载【60天内】不扣币。 服务填表

基于D-S证据理论的多模态结果级融合框架研究.pdf

1、2023 年(第 45 卷)第 10 期汽车工程Automotive Engineering2023(Vol.45 )No.10基于D-S证据理论的多模态结果级融合框架研究*程腾1,2,3,侯登超1,2,3,张强4,石琴1,2,3,郭利港1,2,3(1.合肥工业大学汽车与交通工程学院,合肥 230000;2.安徽省智慧交通车路协同工程研究中心,合肥 250000;3.自动驾驶汽车安全技术安徽省重点实验室,合肥 230009;4.奇瑞汽车股份有限公司,芜湖 241000)摘要 多模态融合感知是自动驾驶的研究热点之一,然而在复杂交通环境下由于天气、光照等外部因素干扰,目标识别可能出现错误,融合时会

2、不可避免地出现分类冲突问题。为此,本文提出一种基于D-S证据理论的多模态结果级融合框架,将深度神经网络的置信度得分输出并作为D-S证据理论的概率密度函数,通过证据组合修正冲突的分类结果,该框架可以解决任意模态之间融合的分类冲突问题。基于KITTI数据集对该框架进行实验验证,实验测试的结果表明,框架输出的融合结果较单一感知网络mAP值均能提高8左右,其中Yolov3与Pointpillar的融合结果相较于Pointpillar单一网络感知结果mAP值提高32,且在复杂交通环境下能够有效解决多模态融合后的分类冲突问题。关键词:D-S证据理论;多模态融合;目标识别;分类冲突Research on M

3、ulti-modal Late Fusion Framework Based on D-S Evidence TheoryCheng Teng1,2,3,Hou Dengchao1,2,3,Zhang Qiang4,Shi Qin1,2,3&Guo Ligang1,2,31.School of Automotive and Transportation Engineering,Hefei University of Technology,Hefei230000;2.Engineering Research Center for Intelligent Transportation and Co

4、operative Vehicle-Infrastructure of Anhui Province,Hefei250000;3.Key Laboratory for Automated Vehicle Safety Technology of Anhui Province,Hefei230009;4.Chery Automobile Co.,Ltd.,Wuhu241000 Abstract Multi-modal fusion perception is one of the research hotspots of automatic driving.However,in complex

5、traffic environment,due to the interference of weather,illumination and other external factors,the target recognition may be wrong,leading to inevitable classification conflict during fusion.Therefore,this paper proposes a multi-modal late fusion framework based on D-S Evidence Theory.The confidence

6、 score of deep neural network is output and used as the probability density function of D-S evidence theory.By modifying the classification result of conflict through evidence combination,this framework can solve the classification conflict problem of fusion between any mode.The framework is verifie

7、d by experiments based on KITTI data set.The results show that the fusion result of the framework output can increase by about 8%compared with the mAP value of a single sensing network,with the fusion result of Yolov3 and Pointpillar increasing by 32%compared with the single sensing result of Pointp

8、illar,which can effectively solve the classification conflict after multi-mode fusion in the complex traffic environment.Keywords:D-S evidence theory;multimodal fusion;object recognition;conflict classification doi:10.19562/j.chinasae.qcgc.2023.10.004*国家自然科学基金(82171012)、安徽省自然科学基金(2208085MF171)、中央高校基

9、本科研业务费专项资金(JZ2023YQTD0073)和汽车标准化公益性开放课题资助项目(CATARC-Z-2022-01350)资助。原稿收到日期为 2023 年 02 月 23 日,修改稿收到日期为 2023 年 04 月 04 日。通信作者:程腾,副教授,博士,E-mail:。汽车工程2023 年(第 45 卷)第 10 期前言随着交通环境日益复杂,在高级辅助驾驶系统和自动驾驶中,单一传感器在复杂交通场景下对目标车辆识别准确率较低,不能满足交通安全要求,所以目前大多数自动驾驶汽车都安装了多种传感器,它们可以提供车辆自身和周边环境的多模态信息。这些信息通常具有一定的互补性和一致性,可以弥补彼

10、此间的缺陷与不足,比如在黑夜、曝光等光照异常场景下,激光雷达检测准确率优于对光照强度敏感的相机,而在雨雪恶劣天气中,相机检测准确率优于受反射影响的激光雷达。因此多模态融合逐渐成为自动驾驶汽车不断提升环境感知能力的重要手段。多模态融合方法按融合层次可划分为数据融合、特征融合与结果融合1。其中,数据融合指输出数据作为后续模型输入的融合操作。Zhou等2将激光点云投影至 RGB 图像上生成 RGB-D 图像,点云信息被扩展为图像的第四通道。Vora 等3提出PointPainting方法,为激光点云赋予了图像生成的语义信息。相较于数据融合,特征融合所融合的信息为具备更深层次信息的特征数据。Chen

11、等4提出MV3D融合算法,将激光点云投影为鸟瞰图与前视图,提取相应特征并融合RGB图像特征用于回归检测任务。Qi等5提出以2D检测驱动3D检测的融合方法F-PointNet,基于图像检测生成建议区域,算法对该区域内的点云进行实例分割与边框精修。结果融合指输入数据本身是目标输出且融合的结果用于结果修正的融合操作。虽然数据融合与特征融合在多模态信息融合中表现出巨大潜力,但它们对数据对齐较为敏感,且通常涉及复杂的架构,进一步引入了额外的计算开销。而结果融合包含了预训练的、固定的单模态检测器,仅需要在检测级别进行关联6,并且结果融合模型相对简单,具备更高的实时性潜力。纪嘉树7设计了基于相机和激光雷达的

12、决策级融合系统,根据两种传感器输出的检测框重合度判断是否融合成功,融合结果较单一感知网络有较大提升,但是该系统没有考虑多传感器识别结果出现分类冲突时应如何处理。甘耀东等8设计了一种融合策略,考虑到相机具备更好的分类特性,雷达具备更好的位置捕捉特性,在融合时取相机识别的类别、雷达识别的位置作为融合结果,但是该方法没有考虑异常天气或复杂交通场景下对传感器的影响。李哲等9基于投票法融合了多特征下的多分类器,车标识别准确率得到进一步提升,但是投票法依赖基础模型间的检测效果不能差别过大。考 虑 分 类 冲 突 的 多 模 态 融 合 方 法 有 投 票法10-11、贝叶斯计算法12-14、D-S理论15

13、-16等等。D-S证据理论17具有表达不确定性和融合不完善信息的能力,且能够适应不同基础模型的检测效果。周文文18利用先验知识设计概率密度函数,基于D-S证据理论融合了多分类器的识别结果。类似基于专家经验构建概率密度函数的思想在文献 19 中亦有体现。然而,专家经验往往具有主观性,在复杂多变场景下决策可信度较低。Chavez-Garcia等20-21提出了一种基于证据框架的感知融合架构,使用正弦变换将单分类器分类结果转换为质量函数形式,结合不确定性与复合表示,解决运动目标的检测与跟踪问题。Zhu等22将多分类问题基于成对学习方法表示为二值分类,并在此基础上基于核密度估计构造概率密度函数,用于D

14、-S证据理论合成。以上方法避免了先验知识的局限性,却由于复杂数据模型的引入而带来了额外的计算开销。Driss等23基于D-S证据理论融合了5种相机卷积神经网络用于X-ray图像识别,将神经网络的置信度作为D-S证据理论的概率密度值,该方法简单有效且具备较强鲁棒性,但没有考虑单一模态识别的局限性。针对上述问题,本文中提出一种基于D-S证据理论的多模态结果级融合框架,考虑不同模态的互补性,融合多种模态信息用于目标识别;考虑先验知识的局限性,利用深度神经网络的泛化能力与自学习能力,将神经网络输出的置信度作为概率密度函数,目标融合时通过D-S证据理论组合多传感器多分类的置信度,根据组合后的结果确定最终

15、分类信息。通过实验验证,本文所提出的框架具备普适性、精确性与解决分类冲突的能力。1基于 D-S 证据理论的决策级融合框架本文技术路线如图1所示,在多模态融合领域,考虑分类冲突问题,提出一种基于D-S证据理论的决策级融合框架,下文简称决策级融合框架,并设计了3组实验,通过对比单一感知网络、投票法融合与 18162023(Vol.45)No.10程腾,等:基于D-S证据理论的多模态结果级融合框架研究本文所提出的融合方法的识别精确性,验证所提出方法的有效性。本文提出的多模态结果级融合框架由3部分组成,分别是数据输入、感知网络和结果级融合,框架整体结构如图2所示。首先,从多传感器中接收多源模态数据,将

16、多模态数据输入至感知神经网络得到各自的检测结果,将检测结果的位置坐标信息转化,使多传感器检测到的目标映射至同一坐标系下,在该坐标系下完成感知结果的关联匹配,然后对关联结果进行融合,若融合过程中产生分类冲突,则判断冲突分类间的冲突因子是否大于高冲突阈值,若大于阈值,认为以上两个证据属于高冲突合成,则应用改进D-S证据理论合成分类置信度,反之使用经典D-S证据理论合成,其中高冲突阈值为超参数,将在实验部分进一步论证如何确定。对融合后的置信度分数进行排序,将最高分数对应的类别作为冲突分类的修正结果。最后基于均值法融合其他信息,包括边界框、中心点位置等。1.1感知网络深度神经网络具有强大的自学习和非线

17、性映射能力,且经过训练后具有良好的泛化能力。相比于传统目标识别的机器学习方法等,深度学习具备更高的识别准确率与检测鲁棒性。因此本文将深度神经网络作为融合框架的基础感知模块。目前主流深度神经网络主要分为两大类,分别是一阶段网络与二阶段网络。二阶段网络的核心思想是在第一阶段划分出感兴趣区域,得到建议框,即完成前景点和背景点的区分,第二阶段对建议框进行识别、精修等处理。常见的二阶段网络有RCNN系列的 Faster-RCNN24、PV-RCNN25等;一阶段网络会把整个生成边界框的过程一体化实现,比如YOLO系列26-28的网络通过将前景背景作为类别之一,取代了二阶段网络获取建议框的步骤,而Cent

18、erNet29系列的网络是基于anchor-free的一阶段网络,通过预测中心点及回归偏移量计算出边界框,相较传统方式省去了对边界框的复杂操作。1.2结果级融合结果级融合包含坐标转化、目标匹配与D-S融图1技术路线图2基于D-S证据理论的多模态结果级融合框架 1817汽车工程2023 年(第 45 卷)第 10 期合,其中坐标转换旨在将多传感器数据映射至同一坐标系下,目标匹配即在同一坐标系下完成多传感器识别结果集合间的关联,D-S融合即将感知网络输出的目标置信度作为概率密度分配值,通过证据组合,将匹配的结果信息进行融合。Driss等23基于D-S证据理论融合了5种相机卷积神经网络用于X-ray

19、图像识别,将神经网络的置信度作为D-S证据理论的概率密度值,识别准确率得到较大提升。借鉴Driss等提出的思想,本文利用多种模态的互补性与一致性,融合多模态信息用于目标识别,同时将神经网络预测的类别置信度得分归一化后作为D-S理论的基本概率分配值,通过证据组合,得到融合多模态后的类别置信度得分,根据置信度得分最大值,确定融合后的最终分类结果。1.2.1坐标转换将笛卡尔坐标系下的三维检测点坐标经过外参矩阵Kext投影至相机坐标系下,再经过相机内参矩阵Kint投影至像素坐标系下,得到图像上的像素点位置(u,v),从而完成三维检测结果与二维检测结果的空间配准对齐。UV=KintKextxLyLzL1

20、;u=Uv=V (1)1.2.2目标匹配感知神经网络模块对于目标检测的结果中包含目标的坐标信息即边界框和中心点,然而由于感知设备的不同和联合标定的精度限制,中心位置往往无法完全匹配,并且由于目标可能在某一坐标方向上位置相同。这都会产生模态数据中某一目标可能对应另一模态数据中多个目标的问题。每一时刻的两种感知结果是天然的二分图数据结构,因此决策级融合可以应用二分图匹配算法将两种模态识别目标进行关联匹配。KM算法是最优匹配算法,即保证二分图内的匹配目标的边权值最大。基于多模态融合场景,本文以待匹配目标间的边界框交并比作为二分图的边权值,算法流程如表1所示。1.2.3D-S融合在复杂交通环境下由于天

21、气、光照等外部因素干扰,多种模态识别的分类结果可能出现不一致,融合时便会不可避免地出现分类冲突问题。D-S证据理论首先定义一个由所有假设结果组成的穷举集合及假设空间,其中所有假设都是两两互斥的。即设集合 包含 n 个元素,可以表示如下:=a1,a2,an(2)的子集A称为命题,的幂集2是由的所有子集组成,包含2N个元素,幂集可以表示为2=,a1,an,a1,a2,a1,ai,(3)再定义函数m:2 0,1即基本概率分配函数的映射,且他满足下列两个条件:m()=0和A m(A)=1(4)式中m(A)的数值表示结果A成立的确信程度。且如下是信任函数和似然函数:Bel(A)=B m(B)(5)Pl(

22、A)=B A m(B)(6)根据上述公式就能得到融合多模态的多种分类置信度的公式:m(A)=11-kA1 A2 A3m1(A1)m2(A2)m3(A3)(7)式中k值为冲突因子,反映了证据冲突的程度,其计算方法如下:k=A1 A2 A3=Am1(A1)m2(A2)m3(A3)(8)当出现分类冲突时,如图3所示,基于D-S证据理论融合冲突分类对应的置信度分布,得到修正后置信度分布,并对其排序,取置信度分数最大值对应的类别作为分类冲突修正结果。然而,经典D-S证据理论存在一定局限性,在高冲突证据源合成时,会产生Zadeh悖论。因此,本文在修正分类冲突前,首先计算冲突因子,判断其是否大于设定阈值,即

23、是否出现高冲突证据合成现象,若证据间存在高冲突则使用Murphy30所提出的改进表1KM 算法流程1.将目标数量较少的模态初始化为左顶标,另一模态初始化为右顶标2.迭代所有目标,交并比小于阈值连成边,建立带权二分图,权值为交并比,初始化邻接矩阵3.根据边权初始化左顶标与右顶标4.使用匈牙利算法获得完备匹配5.若未找到完备匹配则修改可行顶标的值6.重复步骤(4)和步骤(5)直到找到相等子图的完备匹配为止7.将未匹配的目标存入结果集8.将匹配的目标融合后存入结果集 18182023(Vol.45)No.10程腾,等:基于D-S证据理论的多模态结果级融合框架研究的D-S证据理论方法融合分类置信度,即

24、对初始证据集进行算数平均,再利用D-S证据理论对n条证据迭代组合n-1次作为最终合成结果。2实验与讨论为评估本文提出的融合框架的普适性、识别准确性和解决分类冲突的能力,本文设计了3组对比实验:单一感知网络实验、基于投票法融合策略实验和本文融合方法实验。通过随机选择6个经典单一感知网络,用于验证框架的普适性,将框架融合结果同单一感知网络与投票法融合结果进行对比,验证框架的识别准确性与解决分类冲突的能力。2.1数据集与实验设备本文使用KITTI数据集评估了所提出的融合框架。KITTI数据集是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。数据采集车配备2个彩色相机和一个64线激光雷达。本

25、文所采用测试服务器配置为NVIDIA GeForce GTX 3090 GPU。2.2单一感知网络实验KITTI目标检测数据集包含7 481帧训练数据和7 518帧测试数据,每一帧包含一个同步的彩色图像与激光点云数据。文中以行人、机动车、非机动车3种分类作为检测目标,其中训练数据集为7 481帧,测试数据集为随机选取的3 769帧。为了验证框架的通用性与普适性,本文随机挑选了相机与激光雷达模态对应的 7 种常用神经网络,其中包括了一阶段网络与二阶段网络。并且本文 使用 AP(average precision)、mAP(mean average precision)和 IOU 作为指标评测目标

26、检测性能,当检测目标与真值目标交并比超过0.5时,认为该目标被正确识别。7 种深度神经网络的检测结果如表2所示。2.3多模态结果级融合实验通过调整感知神经网络输出,使其在输出结果时携带对目标分类预测的置信度,在多种模态的检测目标融合时,若出现分类冲突则通过D-S理论融合多传感器预测的分类置信度,得到融合后的重新分配的类别置信度得分,选取得分最高的分类作为融合结果的类别。当交通参与者被遮挡或因距离过远而变成难以检测的小目标时,基于视觉的检测结果会不可避免地出现误分类、错检漏检等情况。针对该问题,通过本文融合方法融合激光雷达检测结果,得益于融合框架的融合不完善信息能力,如图4所示,融合结果图3分类

27、冲突修正过程表2单一感知网络检测结果感知网络SecondPointPillarPointRCNNYolov3FasterRCNNCenterNetVoxel-RCNNAP/机动车84.1882.6280.5892.4985.8383.5785.30非机动车57.9451.5955.9592.9158.6866.8259.20行人58.9252.5558.6687.7961.6752.2953.13mAP0.5/%67.0162.2565.0691.0668.7367.5665.88图4多模态融合前后的分类冲突表现 1819汽车工程2023 年(第 45 卷)第 10 期在分类冲突场景下可以有效

28、识别出正确分类。同时,表3列举了在分类冲突场景下本文融合方法重分配分类信息的计算结果,进一步论证了本文融合方法融合多模态互补性解决分类冲突的能力。然而,当冲突因子大于设定阈值,即证据源间存在高冲突时,经典D-S证据理论会产生有悖常理的合成结果。针对该问题,本文在证据源存在高冲突时使用 Murphy 所提出的方法改进 D-S 证据理论。如图5所示,在高冲突场景,改进的D-S证据理论有效地解决了经典D-S证据理论合成错误的问题。表4列举了高冲突场景下经典D-S证据理论与改进D-S证据理论的计算结果,进一步论证了改进D-S证据理论的有效性。同时,为衡量高冲突因子选取对融合结果的影响,本文以Faste

29、rRCNN融合Second网络为例,分析了不同高冲突阈值对融合结果均值平均精度(mean average precision,mAP)的影响。如图 6所示,阈值在0.95时融合结果mAP值达到最高,因此本文高冲突阈值设为0.95。2.4投票法融合实验为验证本文融合方法的解决分类冲突能力,本节实验了投票法融合策略用于对比本文融合方法效果。投票法融合策略即将神经网络的置信度输出作为该网络对每种检测目标类别的票数,取所有票数中数值最大的数据作为融合后的目标分类结果。2.5实验结果通过实验数据(表5)和实验结果柱状图(图7)验证了本文所提出的融合框架以任意神经网络作为基础感知网络均能提高识别准确性,本

30、文融合方法识别结果相比于单一感知网络mAP值普遍提升8左 右,其 中 YOLOv3 与 PointPillar 的 组 合 相 较 于PointPillar单网络感知结果提升32;相比于投票法融合,mAP值普遍提升1左右。图6不同高冲突阈值与融合结果mAP表现表3分类冲突场景下本文融合方法的置信度重分配检测目标非机动车1检测工具相机激光雷达本文融合方法置信度/%车0.060.040.000 4人73.770.040.5非机动车9.4966.4399.48表4证据源高冲突场景下本文融合方法的置信度重分配检测目标非机动车1检测工具相机激光雷达D-S融合改进D-S融合置信度/%车0.008 9880

31、.013 5490.021 80.000 9人0.036 5140.912 149.990 449.664 4非机动车84.652 10.014 19349.987 649.891 6图5证据高冲突场景下改进D-S融合前后的分类冲突表现 18202023(Vol.45)No.10程腾,等:基于D-S证据理论的多模态结果级融合框架研究3结论与展望本文提出的基于D-S证据理论的多模态结果级融合框架能够有效地利用多模态间的互补性与一致性,使得融合结果精确度相较单一感知网络有较大提升,且通过实验验证了该框架具备普适性,不依赖基模型间的效果,即使模型间精度差距过大,融合结果也均能有进一步提升。实验测试的

32、结果表明,框架输出的融合结果较单一感知网络mAP值均能提高8左右,其中Yolov3与Pointpillar的融合结果相较于 Pointpillar 单一感知结果 mAP 值提高 32,同时,通过D-S证据理论组合多模态神经网络分类置信度,有效减少了分类冲突情况,具有较好的应用前景。由于文中所使用的数据集恶劣天气场景较少,图7融合实验结果对比 1821汽车工程2023 年(第 45 卷)第 10 期因此实验测试结果中基于D-S证据理论的分类冲突修正相较投票法提升不多,但均能有所提升,可以证明本文所提出的基于D-S证据理论的多模态结果级融合框架相较于投票法具有一定的优势。后续研究可以采集恶劣天气下

33、的交通场景数据,进一步论证本文所提出的框架的修正分类冲突能力。同时,在证据源高冲突场景下,基于Murphy所提出的方法改进D-S证据理论可以有效降低证据间的冲突现象,但是该方法仅通过取均值方法对证据源修正,没有考虑到不同模态在不同场景下对融合结果的影响程度。因此如何在复杂交通场景下,在Murphy方法基础上为证据源赋予根据感知环境自适应调整的权重信息是本文下一个研究方向。参考文献 1 张新钰,邹镇洪,李志伟,等.面向自动驾驶目标检测的深度多模态融合技术 J.智能系统学报,2020,15(4):758-771.ZHANG Xinyu,ZOU Zhenhong,LI Zhiwei,et al.De

34、ep multi-modal fusion in object detection for autonomous driving J.CAAI Transactions on Intelligent Systems,2020,15(4):758771.2 ZHOU T,JIANG K,XIAO Z,et al.Object detection using multi-sensor fusion based on deep learning C.19th COTA International Conference of Transportation Professionals,2019.3 VO

35、RA S,LANG A H,HELOU B,et al.Pointpainting:sequential fusion for 3D object detectionC.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020:4604-4612.4 CHEN X,MA H,WAN J,et al.Multi-view 3D object detection network for autonomous driving C.Proceedings of the IEEE conf

36、erence on Computer Vision and Pattern Recognition,2017:1907-1915.5 QI C R,LIU W,WU C,et al.Frustum pointnets for 3D object detection from RGB-D data C.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018:918-927.6PANG S,MORRIS D,RADHA H.CLOCs:camera-LiDAR object candida

37、tes fusion for 3D object detection C.2020 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2020:10386-10393.7 纪嘉树.基于多传感器融合的无人驾驶环境感知技术研究D.济南:山东大学,2022.JI Jiashu.Research on environment perception technology of unmanned driving based on multi-sensor fusionD.Jinan:Shandong

38、 University,2022.8 甘耀东,郑玲,张志达,等.融合毫米波雷达与深度视觉的多目标检测与跟踪 J.汽车工程,2021,43(7):1022-1029,1056.DOI:10.19562/j.chinasae.qcgc.2021.07.009.GAN Yaodong,ZHENG Ling,ZHANG Zhida,et al.Multi-target detection and tracking with fusion of millimeter-wave radar and deep visionJ.Automotive Engineering,2021,43(7):1022-10

39、29,1056.DOI:10.19562/j.chinasae.qcgc.2021.07.009.9 李哲,于梦茹.基于多种LBP特征集成学习的车标识别 J.计算机工程与应用,2019,55(20):134-138.LI Zhe,YU Mengru.Vehicle-logo recognition based on ensemble learning with multiple LBP featuresJ.Computer Engineering and Applications,2019,55(20):134-138.10 王钦民,李宽,杨灿群.一种基于分类器投票的车牌定位方法J.计算机工程

40、与科学,2016,38(6):1200-1206.WANG Qinmin,LI Kuan,YANG Canqun.A license plate location method based on classifier voting J.Computer Engineering&Science,2016,38(6):1200-1206.11 刘丽丽,周绍光,丁倩,等.基于最大投票融合的高光谱影像半监督分类 J.地理空间信息,2020,18(5):20-25,6.LIU Lili,ZHOU Shaoguang,DING Qian,et al.Semi-supervised classificati

41、on of hyperspectral images based on maximum voting 表5融合实验结果数据对比多模态感知网络组合FasterRCNN、SecondFasterRCNN、PointRCNNFasterRCNN、PointpillarCenterNet、PointRCNNCenterNet、SecondCenterNet、PointpillarYolov3、SecondYolov3、PointpillarYolov3、PointRCNNVoxel-RCNN、Yolov3Voxel-RCNN、CenterNetVoxel-RCNN、FasterRCNNAP/%机动车本

42、文融合方法90.5890.9590.3390.5990.9490.3397.3597.2597.1997.4391.6290.64投票法融合90.1090.4490.1090.5390.9490.3096.9096.8596.7997.0591.5590.43非机动车本文融合方法70.3668.9665.8672.1371.9369.4394.8694.8695.1195.1274.7369.67投票法融合68.9168.2664.3171.3870.9267.4094.3494.4694.9094.6773.8768.94行人本文融合方法69.3768.0967.9166.0666.5462

43、.7592.0592.0591.1691.3364.0767.36投票法融合66.4566.8766.0664.8265.3361.2791.2190.6290.4890.5263.9567.01mAP0.5/%本文融合方法76.7776.0074.4976.2676.4774.1794.7594.7594.4994.6276.8175.89投票法融合75.1675.1973.4975.3875.7372.9994.1593.9894.0694.0876.4675.46 18222023(Vol.45)No.10程腾,等:基于D-S证据理论的多模态结果级融合框架研究fusion J.Geosp

44、atial Information,2020,18(5):20-25,6.12 李悦.多传感器信息融合在刀具磨损在线监测中的应用研究D.太原:太原科技大学,2020.LI Yue.Research on application of multi-sensor information fusion in tool wear condition monitoring D.Taiyuan:Taiyuan University of Science and Technology,2020.13 赵宏伟,何劲松.基于贝叶斯框架融合深度信息的显著性检测J.光电工程,2018,45(2):13-20.ZHA

45、O Hongwei,HE Jinsong.Saliency detection method fused depth information based on Bayesian frameworkJ.Opto-Electronic Engineering,2018,45(2):13-20.14 陈雪敏.基于贝叶斯融合的图像显著性检测 D.天津:河北工业大学,2019.CHEN Xuemin.Image saliency detection based on baytes integration D.Tianjin:Hebei University of Technology,2019.15 李

46、伟,周靖,杜秀梅,等.基于D-S证据信息融合方法的全地形车行驶工况辨识 J.重庆大学学报,2022,45(3):1-11.LI Wei,ZHOU Jing,DU Xiumei,et al.Driving condition identification of all-terrain vehicles based on D-S evidence information fusion methodJ.Journal of Chongqing University,2022,45(3):1-11.16 姬晓飞,石宇辰,王昱,等.D-S理论多分类器融合的光学遥感图像多目标识别 J.电子测量与仪器学报,

47、2020,34(5):127-132.JI Xiaofei,SHI Yuchen,WANG Yu,et al.D-S theory based multi-classifier fusion optical remote sensing image target recognitionJ.Journal of Electronic Measurement and Instrument,2020,34(5):127-132.17 SHAFER G.Dempster-shafer theory J.Encyclopedia of Artificial Intelligence,1992,1:330

48、-331.18 周文文.多分类器融合算法研究与仿真系统实现 D.南京:南京航空航天大学,2021.ZHOU Wenwen.Research on multi-classifier fusion algorithm and realization of simulation systemD.Nanjing:Nanjing University Of Aeronautics And Astronautics,2021.19 TURHAN H I,DEMIREKLER M,GUNAY M.A novel methodology for target classification based on d

49、empster-shafer theory C.Belief Functions:Theory and Applications:Third International Conference,BELIEF 2014,Oxford,UK,September 26-28,2014.Proceedings 3.Springer International Publishing,2014:393-402.20 CHAVEZ-GARCIA R O,AYCARD O.Multiple sensor fusion and classification for moving object detection

50、and trackingJ.IEEE Transactions on Intelligent Transportation Systems,2015,17(2):525-534.21 CHAVEZ-GARCIA R O,VU T D,AYCARD O.Fusion at detection level for frontal object perception C.2014 IEEE Intelligent Vehicles Symposium Proceedings.IEEE,2014:1225-1230.22 ZHU C,QIN B,XIAO F,et al.A fuzzy prefere

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服