深度强化学习在多传感器融合下的无人机视觉感知巡检中的应用.pdf

2 0 2 4年2期2 3 5 2 0 2 4年第4 6卷第2期深度强化学习在多传感器融合下的无人机视觉感知巡检中的应用弓 鹏 郭 涵 朱赛伟 田 苗 王艺璇作者简介:弓鹏(1 9 8 4-),本科,高级工程师,研究方向为电力巡检与自动化;郭涵(1 9 8 5-),硕士,高级工程师,研究方向为电力巡检与自动化;朱赛伟(1 9 9 1-),硕士,工程师,研究方向为电力巡检与自动化;田苗(1 9 9 7-),本科,助理工程师,研究方向为电力巡检与自动化;王艺璇(1 9 9 9-),本科,助理工程师,研究方向为电力巡检与自动化。(河南送变电建设有限公司输电运检分公司 郑州4 5 0 0 5 1)摘 要 文中利用深度强化学习,实现了基于视觉感知的无人机全光谱自主巡检功能。在全光谱巡检系统技术部分,详细介绍了多传感器融合的数学模型和公式,并深入探讨了卷积神经网络(C NN)在目标检测中的应用,提出了一种基于特征金字塔网络(F P N)的多尺度目标识别方法。最后,进一步阐述了无人机云台相机的稳定性控制方法,包括P I D控制器,并分析了如何将目标检测结果与飞行控制系统相结合,实现自动化的云台相机联动拍摄技术。通过对实验结果的分析,深入讨论了各项技术的优劣势,并提出了改进方向,为未来实现无人机自主巡检提供了参考,为实现高效、精准的工程巡检提供了新的技术路径。关键词:无人机巡检;多传感器;视觉感知中图分类号 T P 3 9 9A p p l i c a t i o no fD e e pR e i n f o r c e m e n tL e a r n i n g i nD r o n eV i s u a lP e r c e p t i o nI n s p e c t i o nU n d e rM u l t i-s e n s o rF u s i o nG ON GP e n g,GUO H a n,Z HUS a i w e i,T I AN M i a oa n dWAN GY i x u a n(H e n a nP o w e rT r a n s m i s s i o na n dT r a n s f o r m a t i o nC o n s t r u c t i o nC o.,L t d.,T r a n s m i s s i o na n d I n s p e c t i o nB r a n c h,Z h e n g z h o u4 5 0 0 5 1,C h i n a)A b s t r a c t I n t h i sp a p e r,t h ed r o n e f u l l-s p e c t r u ma u t o n o m o u s i n s p e c t i o n f u n c t i o nb a s e do nv i s u a l p e r c e p t i o n i s r e a l i z e db yu s i n gd e e pr e i n f o r c e m e n t l e a r n i n g.I n t h e t e c h n i c a l p a r t o f t h e f u l l-s p e c t r u mi n s p e c t i o ns y s t e m,t h em a t h e m a t i c a lm o d e l a n d f o r m u l ao fm u l t i-s e n s o r f u s i o na r e i n t r o d u c e d i nd e t a i l,a n dt h ea p p l i c a t i o no fc o n v o l u t i o n a ln e u r a ln e t w o r k s(C N N)i no b j e c td e t e c t i o ni sd e e p l yd i s c u s s e d.Am u l t i-s c a l e t a r g e t r e c o g n i t i o nm e t h o db a s e do n f e a t u r e p y r a m i dn e t w o r k(F P N)i s p r o p o s e d.F i n a l l y,t h e s t a-b i l i t yc o n t r o lm e t h o do f d r o n e p a n-t i l t c a m e r a,i n c l u d i n gP I Dc o n t r o l l e r,i s f u r t h e r e l a b o r a t e d,a n dh o wt o c o m b i n e t h e o b j e c t d e-t e c t i o nr e s u l t sw i t ht h ef l i g h tc o n t r o ls y s t e mt or e a l i z et h ea u t o m a t i cp a n-t i l tc a m e r al i n k a g es h o o t i n gt e c h n o l o g yi sa n a l y z e d.T h r o u g ht h e a n a l y s i s o f t h e e x p e r i m e n t a l r e s u l t s,t h e a d v a n t a g e s a n dd i s a d v a n t a g e s o f e a c h t e c h n o l o g y a r e d i s c u s s e d i nd e p t h,a n dt h e i m p r o v e m e n t d i r e c t i o n i sp r o p o s e d,w h i c hp r o v i d e sar e f e r e n c e f o r t h er e a l i z a t i o no fd r o n ea u t o n o m o u s i n s p e c t i o n i nt h e f u-t u r e,a n dp r o v i d e s an e wt e c h n i c a l p a t h f o r t h e r e a l i z a t i o no f e f f i c i e n t a n da c c u r a t ee n g i n e e r i n g i n s p e c t i o n.K e y w o r d s D r o n e i n s p e c t i o n,M u l t i-s e n s o r,V i s u a l p e r c e p t i o n0 引言无人机在工程巡检领域的应用日益广泛,其高效的监测能力和能高度适应复杂环境的优势成为现代巡检的重要工具。然而,传统的巡检方法存在一定的局限性。为解决这一问题,本文应用深度强化学习技术,实现了基于视觉感知的无人机全光谱自主巡检功能。1 研究背景近年来,无人机凭借其灵活性、高效性和适应性,逐渐成为现代巡检任务中的得力助手。其中,基于无人机的视觉感知巡检技术已成为工业、环境监测、农业等领域的重要应用之一。然而,传统的巡检方法在应对日益多样化的工程环境和复杂任务时,逐渐暴露出明显的局限性。传统的无人机巡检主要依赖于G P S和传感器,但这些方法在复杂环境中难以充分发挥作用,如其对于复杂的地形或障碍物缺乏足够的感知能力。传统巡检往往受制于人工操作的限制,存在效率低下、信息获取不全等问题。同时,对于多传感器数据的融合和分析以及在复杂环境下的目标识别和定位,传统方法难以满足高精度和实时性要求。本文旨在应用深度强化学习技术,解决传统巡检方法存在的问题,并实现基于视觉感知的无人机全光谱自主巡检功能。2 3 6 2 0 2 4年2期2 全光谱巡检系统技术2.1 多传感器融合在实际应用中,多传感器融合涉及数据预处理、特征提取、数据融合、决策制定等多个步骤。例如,对于全光谱巡检系统,可以融合来自多个波段的光谱数据,以获取更全面的目标信息。融合不同波段的数据可以帮助系统识别多种类型的目标,提高目标分类的准确性。多传感器融合就是将视觉相机、L i D A R传感器、红外传感器等多种传感器产生的数据集成在一起。这意味着无人机可以同时获取多种光谱信息,从而在各种天气条件和光照情况下准确感知环境。多传感器融合还为无人机提供了丰富的环境数据,这可以用于智能决策和路径规划。通过强化学习之后,无人机可以根据环境情况调整巡检路径,更高效地执行任务。传感器数据融合是将来自不同传感器的信息整合起来,以提供更准确、全面的环境感知1。多种传感器的数据经过融合后,可以提高数据采集的效率。无人机一次飞行就可以获取多种光谱数据,而不需要多次出动。这不仅节省了时间和资源,还降低了任务的复杂性。随着传感器技术的发展和数据处理能力的提高,多传感器融合的应用潜力也将进一步增强。2.2 视觉感知算法视觉感知算法是一种用于模拟和模仿人类视觉系统的计算机算法,旨在让计算机能理解和解释图像或视频数据中的信息。这些算法通常被应用于计算机视觉、图像处理、目标检测、图像识别、机器学习等领域。在全光谱巡检系统中,F a s t e rR-C NN(R e g i o n-b a s e dC o n v o l u t i o n a lN e u r a lN e t-w o r k)和YO L O(Y o uO n l yL o o kO n c e)是两种较为常用的目标检测算法,它们在实现高效的目标识别方面具有重要作用。两者在目标检测中都能快速、准确地识别图像中的目标。对于全光谱巡检系统,它们能在不同波段的光谱数据中检测目标,为无人机提供有关目标位置、类别等重要信息,从而支持后续的飞行决策和控制。2.2.1 F a s t e rR-C NN这是一种基于深度学习的目标检测算法。其特点是采用卷积神经网络来提取图像特征,具有较高的检测精度。与传统的R-C NN系列算法相比,它引入了“区域提议网络”(R e g i o nP r o p o s a lN e t w o r k,R P N),将区域提议和目标检测合并在一个模型中,大幅提高了检测速度。F a s t e rR-C NN还可以进行端到端的训练,不需要复杂的训练过程,其工作原理如下。(1)输入图像通过卷积神经网络(通常使用预训练的C NN模型,如V G G、R e s N e t等)进行特征提取,得到图像特征图。在F a s t e rR-C NN中,引入了R P N网络,它负责生成候选的目标区域(通常称之为锚点或锚框)。这些锚点根据它们与实际目标的重叠程度,被标记为正样本或负样本,然后通过R P N网络进行分类和回归,以生成最终的目标区域提议。(2)将这些区域提议用于目标检测。每个区域提议通过R O I池化(R e g i o no f I n t e r e s tP o o l i n g)被转换为固定大小的特征图,并送入一个分类网络(通常是一个全连接层)来判断该区域包含的物体类别,并进一步用于物体位置的回归。最后,根据区域提议的分类和位置回归结果,F a s t e rR-C NN可以输出检测框的坐标和对应的物体类别。2.2.2 YO L O(Y o uO n l yL o o kO n c e)YO L O以出色的速度和精度著称。它通过一次前向传播,将目标检测和分类任务合并到一个单一神经网络模型中,无需多次检测和分类。YO L O的目标是在图像中定位并识别多种不同类别的物体,同时提供其边界框和置信度,其工作原理如下。(1)将输入图像分成一个网格,每个网格单元负责检测图像中的物体。这个网格的大小通常是S*S(如7*7、1 3*1 3)。对于每个网格单元,YO L O会预测若干个边界框,每个边界框包含物体的位置信息(中心坐标、宽高)和目标的分类概率。而每个边界框还具有一个置信度分数,用于表示边界框包含物体的置信度。这个分数反映了模型对物体存在的确定性。(2)采用非极大值抑制来剔除重叠度高的边界框,只保留最有可能的目标边界框。除上述算法外,还有如图像分类和识别算法、物体跟踪算法、人脸识别算法等多种类型的算法模型。在巡检流程设计中,可根据不同的需求和目的进行组合使用。3 多尺度目标识别与云台相机联动拍摄技术3.1 多尺度目标识别特征金字塔网络(F e a t u r eP y r a m i dN e t w o r k,F P N)是一种用于目标检测和语义分割的深度神经网络架构,旨在处理不同尺度上的特征信息,从而提升算法在多尺度任务中的性能。F P N最初被用于目标检测,特别是在处理不同尺度的目标时,表现较为出色。F P N由两个关键组件组成,即自顶向下的特征传递和横向连接。具体可以解释为F P N从高层到低层进行自顶向下的特征传递,类似于金字塔的结构。每个层级的高层特征会经过上采样操作,以提高其分辨率,捕捉更多的细节信息,即自顶向下的特征传递。而在自顶向下的传递中,每个高层特征会与相同分辨率的底层特征进行连接。这种处理能将底层特征的细节信息融合到高层特征中去,从而提升特征的语义表达能力,即横向连接。3.2 云台相机联动拍摄技术为保持云台相机的稳定性,可以使用P I D控制器,将目标检测结果与飞行控制系统结合起来,使无人机在飞行过程中保持稳定,从而实现精准的目标拍摄。3.2.1 云台相机的稳定性控制方法(以P I D控制器为例)P I D控制器是一种经典的反馈控制方法,可以用于控制云台相机的角度,使其在飞行过程中保持稳定。P I D控制器由比例(P)、积分(I)、微分(D)等部分组成。(1)比例项(P项)。根据当前相机位置与目标位置的差异,计算出误差。比例项会对这个误差进行放大,产生一移动信息2 0 2 4年2期2 3 7 个校正信号,用于调整相机的角度。(2)积分项(I项)。积分项用于处理持续存在的误差,避免系统长期偏离目标位置。它可以补偿系统的静态误差。(3)微分项(D项)。微分项可以根据误差变化的速度来进行调整。它可以抑制系统的振荡,使系统更加稳定。将这3个项组合在一起,通过调整权重系数,可以实现云台相机的稳定控制。通过实时监测相机的姿态角度,不断调整控制信号,能使相机始终对准目标。3.2.2 目标检测结果与飞行控制系统的结合将目标检测结果与飞行控制系统相结合,可以实现精准的目标拍摄。当目标被检测到后,可以将目标的位置信息传递给飞行控制系统,从而实现以下操作。(1)路径规划。飞行控制系统可以根据目标的位置信息,规划无人机的飞行路径,使无人机尽可能地接近目标并保持足够的安全距离。(2)飞行控制。飞行控制系统能根据规划的路径,调整无人机的姿态和速度,实现无人机的飞行。P I D控制器可以用于调整云台相机的角度,以保持相机与目标的对准。(3)拍摄触发。当无人机接近目标并进入拍摄距离时,飞行控制系统可以触发相机的拍摄动作,捕捉目标的图像或视频。通过目标检测结果与飞行控制系统的结合,可以实现无人机在飞行过程中根据目标位置的智能调整,确保相机能稳定对准目标,并在合适的时机进行拍摄,精准实现拍摄任务。4 深度强化学习在视觉感知巡检中的应用4.1 强化学习基础强化学习是机器学习的一个分支,主要用于处理决策问题,让智能体(A g e n t)在一个环境中通过学习来获得最大的累积奖励。本文以Q-l e a r n i n g为例。Q-l e a r n i n g是一种基于表格的强化学习算法,常用于解决马尔可夫决策过程(MD P)问题。它通过迭代地更新一个Q值表格来学习最佳策略。Q值表示在特定状态下执行某个动作所获得的累积奖励,可以通过Q值函数表示,即Q(S,A),其中S是状态,A是动作。Q-l e a r n i n g通过迭代更新Q值,使用贝尔曼方程来更新当前状态下执行某个动作的Q值,更新式如式(1)所示:Q(St,At)Q(St,At)+(Rt+1+m a xaQ(St+1,)-Q(St,At)(1)其含义是通过比较当前Q值与未来预期Q值之间的差距,更新当前状态下执行动作(A)的Q值。这使得Q值会逐渐收敛到每个状态下最优动作的预期累积奖励。通过多次迭代更新,Q-l e a r n i n g可以学习到最优策略,使智能体在不同状态下做出最佳决策。4.2 强化学习在无人机巡检中的应用在优化无人机的路径规划和飞行策略时,状态空间的建模至关重要。这个过程需要将无人机周围环境的关键信息以及与飞行任务相关的数据表示为状态,为智能体(无人机)在不同情境下做出合理决策提供支持2。状态空间的建模涵盖了传感器数据和飞行参数、与路径规划和飞行策略相关的信息等。传感器数据是无人机获取环境信息的主要途径,如摄像头、激光雷达等。这些数据将被整合为状态的一部分,以帮助无人机全面理解其周围环境。同时,飞行参数(如位置、速度、姿态等)也是状态的组成部分,它们对无人机的飞行状态具有重要影响。此外,状态空间的建模还需要考虑与路径规划和飞行策略相关的信息。目标位置作为一种关键信息,将指导无人机的飞行任务。路径规划信息(如路径的可行性和难度)对于决策制定同样至关重要。使用强化学习来优化无人机的路径规划和飞行策略是一种有效的方法。(1)需要定义状态空间,将传感器数据、飞行参数和相关信息整合为状态向量3。(2)定义动作空间,列出无人机可以执行的各种动作,如前进、转向、上升、下降等。(3)设计奖励函数,该函数将基于当前状态和执行的动作来评估智能体的表现。例如,到达目标位置将获得正奖励,与障碍物碰撞则获得负奖励。强化学习算法的执行过程涉及智能体的探索和学习。通过迭代更新Q值或优化策略网络,智能体可以逐渐学会在不同状态下选择能最大化奖励的动作。如此,无人机就能根据学到的策略,在每个状态下做出最优决策,以优化路径规划和飞行策略。5 结语本文从多传感器融合、视觉感知算法和飞行控制策略的角度,深入探讨了基于全光谱自主巡检的无人机技术。通过在多个领域的分析,验证了所提方法在提高巡检效率和精度方面的潜力。在多传感器融合方面,通过整合视觉相机、融合多传感器数据,实现了更全面的环境感知。在视觉感知算法中,特征金字塔网络(F P N)的应用使得多尺度目标识别变得更加精准和可靠。同时,飞行控制策略中基于P I D控制器的相机具有较强的稳定性,为实现精准拍摄和目标跟踪提供了坚实的基础。通过深度学习技术,无人机可以更准确地检测目标,更高效地规划路径,提高巡检任务的效率和准确性。同时,多传感器融合使得无人机能感知更广泛的环境信息,从而增强其对复杂和不断变化的环境的适应性,这对于应对不同巡检场景中的挑战至关重要。强化学习技术的引入为无人机的自主性和智能化发展提供了新的研究方向。参考文献1肖苏华,翁泽桂,梁欢,等.基于多传感器互补融合的无人机姿态与位置控制研究J.广东技术师范大学学报,2 0 2 3,4 4(3):3 6-4 3,5 2.2陈博,李擎.多传感器融合在无人机室内三维定位中的应用J.传感器世界,2 0 2 2,2 8(3):2 7-3 6.3代波,何玉庆,谷丰,等.结合滤波与优化的无人机多传感器融合方法J.中国科学:信息科学,2 0 2 0,5 0(1 2):1 9 1 9-1 9 3 1.移动信息