基于改进梯度策略的多虚拟结构算法的无人机协同控制.pdf

DOI:10.11991/yykj.202308008网络出版地址：https:/ aerial vehicles collaborative control method based on improvedgradient strategy for multiple virtual structures controlCHENZiqiang,YANGYi,YAOXuelianSchoolofAutomativeandTrafficEngineering,jiangsuUniversityofTechology,Changzhou213001,ChinaAbstract:This paper proposes a method for cooperative formation control of multiple unmanned aerial vehicles(UAVs).Ittakesvirtualstructurecontrolastheframeworkandcombinesthegradientstrategymethodtodesigntherewardfunctionandpenaltyfunction,whichareregardedasakindofgravitationalforceandrepulsiveforceandappliedtotheUAVscooperativeformationcontrolsystemtosolvetheproblemofreducedstabilityandcoordinationoftheUAVsclusterduetoanincreaseinthenumberofformationsundermultiplevirtualstructurecontrolpoints.ThismethodnotonlyensurescollaborativemovementofUAVsformation,butalsomaintainsstableformationtransformationduringthemovementwhilepreventingcollisionsbetweenmemberswithinthecluster.TheeffectivenessofthismethodwasverifiedthroughsimulationofUAVsformationsystemwithcontrolinputs.Keywords:unmannedaerialvehicles;collaborativecontrol;formation;virtualstructurealgorithm;rewardfunction;penaltyfunction;collision;formationtransformation进入 21 世纪，随着智能产品的更新迭代、物联网的飞速发展，许多先进智能产品应运而生。无人机行业逐渐地出现在大众视野，无人机的应用也越来越广泛1。相比于单架无人机，多无人机系统的开发具有更强的研究优势。无人机集群作为一种新型的多智能体系统，各国的学者分别采用如蚁群、鸟群、狼群、蜂群等集群智能算法对其进行分析与研究，实现对无人机的自主化、智能化协同控制。文献 23 提出了一种基于虚拟结构算法的多智能体编队控制方法，通过控制虚拟结构点的位置和运动实现编队队形的形成和维持，提高编队的稳定性和协调性。但该方法由于仅通过虚拟结构点的位置和运动来控制智能体的行为，因此需要精确地设计虚拟结构点的位置和运动，可能会导致编队不稳定或运动轨迹不理想、机群之间相互碰撞等问题。关于真实环境中的复杂避障问题和机群之间的相互碰撞，例如复杂地形、动态障碍物等，需要进一步研究和完善。文献 45 提出了一种基于深度强化学习的方法，通过让智能体在虚拟环境中学习从而避开障碍物来完成导航任务；文献收稿日期：20230810.网络出版日期：20240204.基金项目：江苏省研究生科研与实践创新计划项目(XSJCX22_48，XSJCX23_23）.作者简介：陈子强，男，硕士研究生.杨艺，男，讲师，博士.通信作者：杨艺，E-mail：.第51卷第2期应用科技Vol.51No.22024年3月AppliedScienceandTechnologyMar.202468 提出了一种使用多任务学习的方法，使智能体可以同时进行避障和目标检测，从而更好地感知环境并完成任务；文献 911 考虑领航机和跟随机同时存在不确定性和扰动的情况，设计了多变量模型参考自适应控制算法，实现了多无人机的一致性编队飞行，并通过仿真验证了所提方法的有效性；文献 1213 通过设计模糊人工势场，结合自适应遗传算法特点，在保证轨迹平滑性的前提下生成最优稀疏点，且引入返回点的概念消除人工势场容易陷入局部最优值的弊端；文献14 分 别 设 计 了 2 个 滑 模 控 制 器(slidingmodecontrol，SMC)实现领航机跟踪预定轨迹和跟随机保持队形，实验结果表明领航机和跟随机均可保证较好的跟踪性能。文献 15 面向城市环境的四旋翼无人机的在线避障航迹规划问题，研究了常用的快速扩展随机树和人工势场的改进算法，解决快速随机探索树（rapid-explorationrandomtree，RRT）算法收敛速度慢、航迹曲折和人工势场法陷入局部极小值和振荡的问题；文献 16 设计了一种基于虚拟结构和人工势场相结合的编队规划控制算法，以虚拟领导者为核心基于期望的相对位置信息设计虚拟结构队形，结合人工势场斥函数实现虚拟结构质点的防碰撞以及维持通信距离功能，并解决了可能存在的局部死锁问题。而本文结合虚拟结构算法和奖励函数完成对多架无人机的协同控制，利用惩罚函数来规避无人机编队的机间碰撞，通过多个虚拟点的控制，控制编队队形的变换和飞行，增强编队的稳定性。1无人机模型1.1X 型四旋翼无人机位置模型根据牛顿第二定律，得到四旋翼无人机在地球坐标系的位置方程如下1718：Pi=Vipi=QiX，QiY，QiZVi=ViX，ViY，ViZ式 中、为 第i 架无人机的位置信息和在三维方向的速度。(i 1,2,n)对于由 n 架无人机组成的无人机编队系统，则第 i架无人机的运动学模型为pi,X=Vi,Xpi,Y=Vi,Ypi,Z=Vi,Z(1)F=1m(GTRa3)(2)式中：F 为无人机所受的合力，m 为无人机 i 的质a3=001TG=00g T量，R 为机体坐标系到地球坐标系的旋转矩阵，T 为无人机产生的升力，为 Z 轴方向的单位向量，为无人机的重力。根据虚拟结构把无人机编队系统看成一个刚体模型，根据牛顿欧拉方程可知：F=mdVdtF=GT(3)q=(w,x,y,z)式中：V 刚体的速度；T 是在地球坐标系下无人机的四对桨叶产生的升力，将其转换到刚体坐标系下需左乘一个旋转矩阵 R（机体系到参考系），四元数记为，则旋转矩阵 R 为R=w2+x2y2z22(xy+zw)2(xzyw)2(xywz)w2+x2y2z22(yz+xw)2(xz+yw)2(yzxw)w2+x2y2z2代入到式(3)得：F=GTR左右两边同除以 m 得：V=gTmRa3(4)Xi(t)联合式(1)和式(2)得无人机位置方程为Vi,X=Tm(2(xzyw)Vi,Y=Tm(2(yz+xw)Vi,Z=gTm(w2+x2y2z2)(5)T=KT(T21+T22+T23+T24)KT式中：无人机的升力，Ti为第 i 个桨叶产生的升力，为升力系数。无人机运动学方程为Qi,X=Tm(2(xzyw)Qi,Y=Tm(2(yz+xw)Qi,Z=gTm(w2+x2y2z2)(6)1.2无人机的动力模型力矩 M 的定义：M=d FdF式中：为力作用点的矢量，为力矢量。定义刚体逆时针绕轴转动时，力矩为负。则电机 1 在机体系在 X、Y 轴的分量可表示为M1x=sin4F1=22KTdT21M1y=sin4F1=22KTdT21Z 轴的力矩由于浆会作用一个反方向的阻力，产生力矩，则在 Z 轴的反扭矩为第2期陈子强，等：基于改进梯度策略的多虚拟结构算法的无人机协同控制121Mz=KMT21KM式中为反扭矩系数。则 X 型四旋翼无人机的动力学模型为X=22dKT(T21+T22+T23T24)Y=22dKT(T21+T22T23T24)Z=22dKT(T21T22+T23T24)X，Y，Z式中：分别为绕 X、Y、Z 轴的力矩，d 为电机的重心到作用点的距离。2无人机协同编队控制2.1无人机集群控制模型i建立无人机集群控制模型，设机群有 架无人机，成员 i 的控制输入表达式为Ui=i(t)+i(t)i(t)=F1+F2i(t)=knj=1uij(t)k(Qj(t)Qi(t)+1Nuij(t)Qj(t)+Qb(t)+k(Qb(t)Qi(t)di,b(t)F1=i,j2r2(QiQj)(1+di,jd0)2F2=i,j4r3(QiQj)1+(di,jdc)22(7)i(t)i(t)F1、F2uij(t)uij(t)=0uij(t)=1Qi(t)Qj(t)Qb(t)Qj(t)Qb(t)di,br2r3di,jd0dc式中：为无人机 i 的速度输入；为 t 时刻所设置的奖励引导值；为计算出的奖励力；k 为控制系数；为在 t 时刻无人机 i 与无人机j 有 无 信 息 交 互，当时 无 信 息 交 互，时有信息交互；N 为第 i 架无人机有信息交互的无人机数量；、为第 i、j 架无人机的位置坐标信息；为虚拟点 b 的坐标；第j 架无人机的一阶导数；为虚拟点 b 的一阶导数；为第 i 架无人机在 t 时刻与虚拟控制点 b 保持的相对距离；为每架无人机维持队形时所获得的基础奖励值；为每架无人机基础惩罚值，为第 i 架无人机与第 j 架无人机之间的距离，为无人机之间的目标距离，为 2 架无人机间的安全距离。2.2无人机编队虚拟结构控制方法图 1 为虚拟控制点示意，图中实心圆为虚拟控制点（virtualcontrolpoints，VCPs）PVC，空心圆表示虚拟点（virtualpoints，VPs）PV，PV始终与 PVC保持一定的相对距离。如图 1 所示，每个 PV对无人机施加一个拉力，当无人机机群开始形成时，PV引导无人机到达相应的位置；无人机机群在PV的作用下形成设定好的五边形队形，保持一个良好的编队19。图1虚拟控制点示意(t)对于式(6)的无人机运动学模型，设计式(7)多虚拟结构的无人机集群协同控制。在多虚拟结构中，通过对无人机成员的控制输入，使得两无人机的位置之差为一个常数，则可以完成编队队形。i(t)在式(7)中，考虑虚拟控制点，定义无人机i 的控制输入函数20：i(t)=k(Qb(t)-Qi(t)di,b(t)Qb(t)通过参考虚拟点 b 的一阶导数来提高集群之间的协同性：i(t)=k(Qb(t)Qi(t)di,b(t)+Qb(t)(8)在机群中，考虑到第 i 架无人机会与多架无人机成员交互，则式(8)的控制输入为 i(t)=nj=1uij(t)k(Qj(t)Qi(t)+1Nuij(t)Qj(t)+Qb(t)+k(Qb(t)Qi(t)di,b(t)(9)(t)=Qj(t)Qi(t)uij(t)=0令，当，无人机 i 只受虚拟点 b 的影响，则式(9)可表示为 i(t)=Qb(t)+k(Qb(t)Qi(t)di,b(t)(10)无人机在虚拟点牵引下完成编队。当 uij(t)=1，式(10)可表示为122应用科技第51卷 i(t)=knj=1(t)+1NQj(t)+Qb(t)+k(Qb(t)Qi(t)di,b(t)由式(4)得无人机成员 i 位置坐标：X(t)=k(Qj,XQi,X)=C1Y(t)=k(Qj,YQi,Y)=C2X(t)=k(Qj,ZQi,Z)=C3C1+C2+C3=C=(t)式中始终为一个定值，完成无人机编队系统。3稳定性分析考虑到无人机集群成员间的相对位置偏差，基于虚拟点进行集群的协同控制。当无人机成员数量增多时，编队的稳定性将会急剧下降，且集群中两机之间的距离过远和靠近时都会影响编队队形的稳定性。因此通过设计维持队形的奖励函数来防止 di,j大于目标距离 d0，规避集群中的成员脱离队形；通过设计碰撞函数防止 di,j小于安全距离 dc，避免发生两机碰撞。假设距离的奖励函数和惩罚函数都是连续的函数，并且随着实际距离的接近，目标值逐渐收敛到最大奖励。根据多智能体梯度策略方法，在无人机编队中设计维持队形奖励函数：r1,i=i,jr21+(di,jd0),di,j d00,di,j d0(12)t dc di,j r2,idi,j d0di,j d0因 为，所 以 由可 得，此时系统根据奖励函数进行决策后使得，逐渐收敛到目标距离。根据式(12)的惩罚函数，计算关于距离 d 的导数有：r2,idi,j=i,j2r2(di,jdc)1+(di,jdc)22Qi由式（5）得第 i 架无人机的位置坐标为，则有：d2i,j=(QX,iQX,j)2(QY,iQY,j)2对其中每个位置坐标求导数，可得：d2i,jQX,i=2(QX,iQX,j)d2i,jQY,i=2(QY,iQY,j)根据链式法则，第 i 架无人机的惩罚力为F2=i,j4r2(QiQj)1+(di,jd0)22第2期陈子强，等：基于改进梯度策略的多虚拟结构算法的无人机协同控制123di,jdi,j di,jdi,j di,j(di,jdc)2(di,jdc)2根据惩罚函数，在下一个时间点 t+1 的距离为，有。由 于，所 以，因此r31+(di,jdc)2 dc有，无限接近安全距离。di,j当无人机编队中有任意 2 架无人机距离小于目标距离，无人机 i 会根据惩罚函数调整实际距离，避免受到一个更大的惩罚力度。当 2 架无人机之间的距离小于 dc时，由于惩罚函数值的性质，距离的越小，则两机之间对应的惩罚力也会越大；当到下一个时间点 t+1 时，惩罚值更新。根据惩罚函数调整后的距离比原始距离更接近与目标的距离。综合可知，根据惩罚函数调整后，2 架无人机之间的距离将收敛到目标距离 dc，当实际距离偏离目标距离时，惩罚函数将作为一个额外的力，使两机之间的距离朝着目标距离靠拢。这样将确保无人机能够始终保持在安全的飞行距离，防止碰撞和其他飞行的安全问题。4仿真分析4.1无人机集群协同控制仿真实现通过 MATLAB、QGC 地面站等仿真平台，对本文建立的无人机集群协同的数学模型进行仿真，以 MATLAB 作为控制系统。4.2仿真数据分析KTKM=1.57107选取 5 架质量 1.4kg 的 X 型无人机（图 1）作为实验对象。电机的转速为 170.47rad/s，升力系数=1.2105，反扭矩系数。设置编队的目标距离为 1m，组成五边形编队飞行为例；无人机集群执行任务的场景为集群起飞，变组成编队；编队中信息交互的个数 N为5 架。初始状态下，无人机成员均匀分布在全局坐标系 xy 平面，x 坐标大于等于 0。通过分析机群中每架无人机的运动趋势和姿态变化，研究机群中无人机的运动状态。通过监测四元数的变化来反映无人机成员的姿态信息，通过无人机的位置坐标变化来反映无人机的运动趋势。图 2 为四元数（x、y、z、w）的变化情况。由图 2 可知，无人机在 4s 左右接收到起飞命令，在10s 左 右 收 到 无 人 机 编 队 命 令，一 直 到 25s左右无人机编队完成，无人机在虚拟点的作用下开始执行飞行任务。5 架无人机的成员四元数变化基本是一致变化的，保证了无人机编队内部的一致性。0101.52.02.53.0四元数 x3.54.04.55.05.520 30 40 50t/s(a)四元数 x60 701 号无人机2 号无人机3 号无人机4 号无人机5 号无人机90 10080010 20 30 40 50 60 7090 10080321四元数 y01t/s(b)四元数 y1 号无人机2 号无人机3 号无人机4 号无人机5 号无人机320.050.100四元数 z0.05656070t/s(c)四元数 z75801 号无人机2 号无人机3 号无人机4 号无人机5 号无人机859001000.10.10.220 30 40 50t/s60 701 号无人机2 号无人机3 号无人机4 号无人机5 号无人机90 10080四元数 w(d)四元数 w图2四元数变化情况通过观察无人机的全局坐标变化，可以知晓无人机成员在编队飞行过程中的位置变化。以本文提出的控制算法针对无人机的 X 和 Y 轴方向为控制输入，无人机作为在空中运动的飞行器需要保持悬空状态，因此本文在 Z 轴方向的控制输入124应用科技第51卷一直存在且不变。图 3 为无人机完成编队后位置变化情况。如图 3(a)和图 3(b)所示，无人机在 5s 左右接到起飞命令后，无人机成员在原地起飞；在 10s 无人机收到编队命令，完成编队如图 3(c)。5 架无人机的X 坐标基本成线性上升，而 Y 坐标在编队完成后从 30s 后没有变化，此时无人机编队沿着 X 轴方向飞行。在 30s 左右，无人机的全局坐标 X 开始变化，图 3（a）和图 3（b）中的 5 架无人机的全局坐标呈线性上升而全局坐标 Y 没有变化，此时编队成员沿着 X 轴方向执行飞行任务。由图 3 可见，编队成员的坐标变化趋于一致，仿真证明了本文提出的多虚拟结构算法实现了集群内部成员状态的一致性和稳定性。0100150X 轴方向距离/cm2005020 30 40 50t/s(a)无人机 X 位置变化60 701 号无人机2 号无人机3 号无人机4 号无人机5 号无人机90 1008010050010050Y 轴方向距离/cm100501001.00.50Z/mY/mX/m0.51.01000100200300200100020 30 40 50t/s(b)无人机 Y 位置变化(c)无人机编队队形60 701 号无人机2 号无人机3 号无人机4 号无人机5 号无人机90 100801 号无人机2 号无人机3 号无人机4 号无人机5 号无人机图3无人机完成编队位置变化5结论1）本文针对多旋翼无人机的编队控制问题，利用虚拟结构算法对编队系统进行分析，利用多虚拟点来控制无人机编队队形的形成。2）结合梯度策略方法中的奖励函数使编队队形更加稳定，利用惩罚函数抑制编队中的机间碰撞。3）通过多目标函数的对比分析证明了编队系统的稳定性，可知编队系统能够在接收到命令后迅速做出反应，完成编队任务。仿真实验结果表明，本文所提出的控制策略具有很好的控制效果，证明了本文所提出算法的有效性。但本文还未考虑飞行环境中存在障碍物的情况，无法对障碍物做出反应，后续工作将结合虚拟结构算法等，实现无人机编队的自主避障。参考文献：符小卫,王辉,徐哲.基于 DE-MADDPG 的多无人机协同追捕策略 J.航空学报,2022,43(5):311325.1YAN Xun,JIANG Dapeng,MIAO Runlong,et al.Formationcontrolandobstacleavoidancealgorithmofamulti-USVsystembasedonvirtualstructureandartificialpotentialfieldJ.Journalofmarinescienceandangineering,2021,9(2):161.2HEW,HUJ,LINH.Avirtualstructurealgorithmbasedmulti-robot system with path planningC/InternationalConferenceonAdvancedRoboticsandIntelligentControl.Cham:Springer,2018:120129.3LI H,LIANG Y,WANG Y.Gradient-based formationcontrolofmulti-robotsystemswithobstacleavoidanceJ.Roboticsandautonomoussystems,2018,107:1222.4XUNYan,JIANGDapeng.Formationcontrolandobstacleavoidancealgorithmofamulti-usvsystembasedonvirtualstructureandartificialpotentialfieldJ.Journalofmarinescienceandengineering,2021,32(9):161170.5LIUHao,TIANYu,LEWISFL,etal.RobustformationtrackingcontrolformultiplequadrotorsunderaggressivemaneuversJ.Automatica,2019,105:179185.6Liu Bo,Wei Shimin.An gradient-based continuous-timetrajectory optimization method for real-time collisionavoidance on collaborative robotC/Proceedings of theIEEE2021InternationalConferenceonArtificialIntelligenceandComputerEngineering.Hangzhou:IEEE,2021:3538.7WANG J,LUO X,LI X,et al.Sliding mode formation8第2期陈子强，等：基于改进梯度策略的多虚拟结构算法的无人机协同控制125control of nonlinear multi-agent systems with locallipschitz continuous dynamicsJ.Journal of systemsscienceandcomplexity.,2019(32):759777.ZHENZiyang,TAOGang,XUYue,etal.MultivauriableacaptivecontrolbasedconsensusflightcontrolsystemforUAVs fomationJ.Aerospace science and technology,2019(93):105336.9LI Baowei,LI Shuai,WANG Chen,et al.Distributedcircle formation control for quadrotors based on multi-agent deep reinforcement learningC/2021 ChinaAutomationCongress.Piscataway:IEEE,2021:47504755.10SANGHongqiang,YOUYusong,SUNXiujun,etal.ThehybridpathplanningalgorithmbasedonimprovedA*andartificial potential field for unmanned surface vehicleformationsJ.Oceanengineering,2021,223:108709.11WANG Ning,XU Hongwei,LI Chengzhong,et al.Hierarchicalpathplanningofunmannedsurfacevehiclesafuzzy artificial potential field approachJ.Internationaljournaloffuzzysystems,2021,23(6):17971808.12YANGWenlin,WUPeng,ZHOUXiaoqi,etal.ImprovedartificialpotentialfieldanddynamicwindowmethodforamphibiousrobotfishpathplanningJ.Appliedsciences,132021,11(5):2114.REDROVAN D V,KIM D.Multiple quadrotors flightfomation control based on sliding mode control andtrajectorytrackingC/TheIbererarionalCoveferenceonElecrovics,Inaforiariona,andConue-ricatiow.Honolulu:IEEE,20I8:l6.14成浩浩,齐晓慧,杨森,等.一种基于一致性的四旋翼无人机编队避障方法 J.飞行力学,2019,37(2):5155.15杨明月,寿莹鑫,唐勇,等.多四旋翼无人机编队保持与避碰控制 J.航空学报,2022,43(S1):726913.16李正平,鲜斌.基于虚拟结构法的分布式多无人机鲁棒编 队 控 制 J.控 制 理 论 与 应 用,2020,37(11):24232431.17MA Mingyu,DONG Chaoy ang,MA Siqian,et al.Coordinated control of multiplc quadrotors formationonJ.CowIroi theory&applications,2018,35(9):12291238.18秦澍祺,王国胜,梁冰.基于分布式的虚拟领航一致性四旋翼无人机编队控制 J.人工智能与机器人研究,2018,7(4):184192.19乔琛,蒋定德.面向无人机集群的协同编队控制算法与仿真实现 D.成都:电子科技大学,2021:1719.20本文引用格式：陈子强,杨艺,姚雪莲.基于改进梯度策略的多虚拟结构算法的无人机协同控制 J.应用科技,2024,51(2):120126.CHENZiqiang,YANGYi,YAOXuelian.UnmannedaerialvehiclescollaborativecontrolmethodbasedonimprovedgradientstrategyformultiplevirtualstructurescontrolJ.Appliedscienceandtechnology,2024,51(2):120126.126应用科技第51卷