基于深度强化学习的无人机路径规划与无线电测绘.pdf

针对传统无人机轨迹优化设计方法在构建通信模型上具有局限性的问题，本文面向蜂窝连接无人机通信方式，引入一种基于深度强化学习的无人机路径规划与无线电测绘方法。该方法利用扩展后的双深Q网络模型，结合无线电预测网络，生成无人机轨迹并预测由于动作选择而累计的奖励值。此外，基于Dyna框架将实际飞行和模拟飞行相结合，进一步训练双深Q网络模型，从而大大提高学习效率。仿真结果表明，与Direct-RL算法相比，该方法能更有效地利用学习到的覆盖区域概率图，使无人机避开弱覆盖区域，减小飞行时间和预期中断时间的加权和。关键词：无人机蜂窝通信；路径规划：深度强化学习；无线电测绘中图分类号：TN929.5文章编号：0 2 55-8 2 9 7(2 0 2 4)0 2-0 2 0 0-11UAV Path Planning and Radio Mapping Based onDeep Reinforcement LearningWANG Xin,ZHONG Weizhi,WANG Junzhi,XIAO Lijun,ZHU Qiuming?1.College of Astronautics,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,Jiangsu,China2.College of Electronic and Information Engineering,Nanjing University ofAeronautics and Astronautics,Nanjing 211106,Jiangsu,ChinaAbstract:To address the limitations of traditional UAV trajectory optimization designmethods in building communication models,this paper presents a deep reinforcementlearning-based UAV path planning and radio mapping in cellular-connected UAV com-munication systems.The proposed method utilizes an extended double-deep Q-network(DDQN)model combined with a radio prediction network to generate UAV trajectoriesand predict the reward values accumulated due to action selection.Furthermore,themethod trains the DDQN model by combining actual and simulated fights based on Dynaframework,which greatly improves the learning efficiency.Simulation results show thatthe proposed method utilizes the learned coverage area probability map more effectivelycompared to the Direct-RL algorithm,enabling the UAV to avoid weak coverage areas andreducing the weighted sum of flight time and expected interruption time.收稿日期：2 0 2 2-0 6-2 2通信作者：仲伟志，副教授，研究方向为毫米波通信技术、5G/6G场景下的波束赋形、跟踪。E-mail：z h o n g w z 201第2 期王鑫，基于深度强化人机路径规划与无线电测绘Keywords:UAV cellular communication,path planning,deep reinforcement learning,radio mapping近年来，无人机凭借其高机动性和灵活性广泛应用于货物运输、应急救援、空中检查等各类活动。因此，确保无人机与地面之间高容量、低延迟以及超可靠的双向无线通信至关重要。然而，现有无人机通信主要依赖未经许可的频带上（如ISM2.4GHz）简单的点对点通信，其数据传输速率低、易受干扰、难以合法监测管理，且只能在有限地域范围内进行1。因此，将无人机与蜂窝网络相结合，是解决上述问题的一项关键技术。无人机集成到蜂窝网络中主要有两方面的应用：一方面，无人机可以作为空中基站，在空中提供无线连接，即无人机辅助无线通信；另一方面，无人机可以作为空中用户，与地面基站（groundbase station，G BS）通信，即蜂窝连接无人机形式的通信。蜂窝网络与无人机相结合具有很多优势。首先，蜂窝网络基础设施遍布全球，可以提供经济高效的通信链路，减少通信范围的限制，实现真正的远程操作。其次，与简单的点对点通信相比，蜂窝连接无人机通信方式可以降低延迟，提高数据传输速率。此外，蜂窝信号还可以补充定位精度，减小恶劣天气以及障碍物对无人机通信的影响。尽管蜂窝连接无人机通信方式具有以上优点，但仍有一些问题函待解决。由于现有蜂窝网络主要面向地面用户，GBS天线通常是朝向地面倾斜的，进而导致无法保证完善的空中通信覆盖。同时，蜂窝连接的无人机易受到其他非关联基站的严重干扰。针对上述问题，一部分研究致力于改善空对地的通信条件，以提高连通性和数据传输速率。文献2 引入广义泊松多项分布来模拟干扰信息，分析了GBS天线不同的下倾角对空中覆盖的影响。在文献3 中，GBS天线下倾角被作为优化变量，最大限度地提高了无人机接收信号的质量，同时减少了与地面用户的交接时间。为了减小干扰问题，文献4 利用蜂窝网络中GBS之间的回程链路，提出了一种针对同信道干扰的合作性干扰消除策略。此外，利用无人机的可控移动性，优化无人机轨迹，避开弱覆盖区域，从而保证无人机与GBS之间的连通性，也是一个有前景的研究方向。文献5-6 构建了信噪比（signal to noiseratio，SNR）图，并利用图论设计了在信干噪比（signal to interference plusnoiseratio，SINR）约束下的最短路径问题。文献7 通过将图论和凸优化应用于蜂窝连接的无人机，优化轨迹以最小化无人机行进时间，同时确保它与至少一个GBS连接。文献8-9 也研究了类似的问题。但是以上传统的无人机轨迹优化设计具有一定的局限性。首先，解决相应的优化问题需要准确的通信模型，包括天线模型、信道模型以及环境模型，文献7-9 大多基于一些假设的简化模型，文献10-12 虽然考虑了更复杂的模型，但这些都是统计模型，无法为实际环境提供性能保证。此外，在实际环境中，很难获取准确的信道模型及相关参数，即使获取了与环境匹配的模型和参数，面临的优化问题也是非凸问题，很难有效解决。针对上述问题，本文采用一种基于深度强化学习（deepreinforcementlearning，D RL）的同步导航与无线电测绘（simultaneousnavigationand radiomapping，SNA RM）方法，通过优化无人机轨迹，避开通信弱覆盖区域，来实现任务完成时间和预期中断时间加权和的最小化131系统模型1.1无人机飞行环境建模将无人机飞行环境设定为2 km2km的密集城市区域，根据国际电信联盟建议的统计模型来生成建筑物的高度和位置。该模型涉及3个参数：bd、bd和bd。其中，bd为建筑物第42 卷202应用报学科学覆盖面积与总土地面积的比值；bd为单位面积内建筑物的平均数量；bd值决定了建筑物的高度分布，即服从均值为bd的瑞利分布，假设建筑的高度不超过9 0 m。建筑物分布的二维和三维视图如图1所示。设置无人机的飞行高度为10 0 m，飞行速度为常数V，将无人机在t时刻的位置设定为q(t)=（a t,y t)，令qs=（a s,y s）和qf=（a f,f）分别表示无人机飞行的起点和终点。假设所考虑区域内分布有7 个GBS，位置如图1中蓝色标志所示。每个GBS包含3个扇区，即小区总数M=21。G BS天线为垂直放置的8 阵元均匀线阵，沿水平和垂直方向的半功率波束宽度均为6 5，其主瓣向地面倾斜10，组成定向天线阵列。2.0品00000000000000000000000000000000000000000000000000000000000000-1000000000801.5-口60000000000000三000000000000000000000000000000000000000000000000040二21.0-0000000二20二0-一72.00.530000000000000000000000000000000000000000000.5100000000000上-00000001.0ux/h00.51.00.5c/km1.50.51.01.52.02.0000a/km(a)二维视角(b)三维视角(a)Two-dimensional view(b)Three-dimensional view图1建筑物分布图Figure 1 Building distribution map1.2优化目标建模令无人机在t时刻从小区接收到的瞬时功率信号为Pm(t)=Pmm(q(t)Gm(q(t)hm(t),m=1,2,.,M(1)式中：Pm为小区m的发射功率，mE1,M：m(）和Gm(）为经历大尺度衰落的信号增益和基站天线增益；hm(t）为小尺度衰落，是根据3GPP中的UMa模型建立的，在非视距（non-lineof sight，NLo S）情况下服从瑞利分布，在视距（line of sight，Lo S）情况下服从莱斯分布。令无人机在t时刻与关联小区b(t）之间的信号干扰比（signal-to-interferenceratio，SIR）S(t)）低于所设阈值th，即S(t)th时，无人机处于中断状态Pb(t)(t)S(t)(2).pm(t)m#b(t)式中：Pb(t)(t)是无人机在t 时刻从关联小区b(t)接收到的信号瞬时功率。对于位置q(t)和相关联的小区b(t)来说，由于小尺度衰落系数 hm(t)具有随机性，因此，S(t)也具有随机性。本文使用中断概率Pout来评估无人机与基站之间的连通性，即Pout(q(t),b(t)=Pr S(t)th)(3)203第2 期王鑫，等：基于深度强化学习的无人机路径规划与无线电测绘式中：Pr是事件发生的概率。假设飞行时长为T，则预计中断时长可定义为TTout(g(t),b(t)=Pout(q(t),b(t)dt(4)0如式（4）所示，若中断概率不变，随着飞行时长T的增加，预计中断时长会增加，但随着飞行时间的延长，无人机可以更加灵活地避开弱覆盖区域，减少中断概率，从而减少预计中断时间。因此，无人机飞行时间T与预计中断时间两者之间可用权重系数来权衡，最终目标为最小化两者的加权和，此问题的优化目标F可用下述公式表述：F=minT+Tout(q(t),b(t)(5)T,(q(t),b(t)s.t.q(o)=Qs,q(T)=qf(6)q(t)=Vu(t),Vt E 0,T(7)II(t)I=1,Vt E 0,T(8)上式为一个连续优化问题，考虑到连续优化问题的复杂度，本文将时间范围0,T】离散为N个时间步长t，假设t足够小，那么在每个时间步长内，无人机与关联基站之间的距离大致不变，那么无人机轨迹可表示为【qn)n=1，则无人机在n+1时刻与n时刻位置的关系可表示为qn+1=qn+sUn,Vn(9)I/nll=1,Vn(10)式中：s=Vt，表示每个时间步长内无人机的位移。因此，预计中断时间可近似为NTout(q(t),b(t)t)tPout(an,bn)(11)n=1令第n个时间步长的瞬时信干比为S(qn，b n;h)，进一步定义指示函数为1，S(q,b,h)thI(q,b;h)=(12)0,其他那么，中断概率可进一步表示为如下形式Pou(t),b(t)=Pr S(an,bn;h)%th)f(h)dhJh:S(an,bn:h)th/.I(an,bn;h)f(h)dh=E(an,bn:)(13)式中：f(h）为信道状态信息的概率密度函数。假设在第n个时间步长内，无人机对M个小区分别进行J次信号测量，S(qn,bn;hn,jl）表示其中第j（i E（O,J)）次测量值，则相应的经验204第42 卷应用报学学科中断概率为(14)j=1由大数定律可知，当无人机信号测量足够频繁时，式（14）中的Pout（q n，b n）可以通过经验值Pout（q n，b n）来评估。最佳关联小区可表示为b=argmin，Po u t(q n,b)，由此可得到给be1,2,.,M定位置9 n处的中断概率为Pout(qn)=minPout(dn,b)(15)be(1,2,M)基于以上分析，可得到本文最终的优化目标为NF=max,-N-ZPout(an)(16)N,(an,un)n=1通过式（16）将最小化问题转换成最大化问题，为后续研究奠定基础。2基于DRL白的无人机路径规划2.1DRL基基本概念在DRL中，用于学习和决策的主体叫智能体，与之交互的事物称为环境。在每个时刻，智能体将和环境交互，产生序列So,ao,r1,S1,a1,r2,S2,a2,r3,(17)式中：S、r分别代表智能体的状态、行为以及来自环境的回报。智能体通过选择最佳行为，使所有奖励Gn的累积和最大化，Gn定义为8Gn=rn+1+rn+2+2n+3+.=rn+k+1(18)k=0式中：E0,1是折扣因子，越大，考虑的长期回报越多；反之，长期回报越少。策略函数(s）根据不同状态下不同动作的概率来选择最佳动作，从而找到最优策略元*(s)。另一个重要概念是动作价值函数Q(s,)，是指在状态s下通过(s）选择动作后，可以获得的期望回报，Q元（s,）可表示为如下形式Q(s,a)=EGnlsn=S,an=a(19)DRL利用深度神经网络作为函数逼近器，通过最小化损失函数来更新网络参数(rn+1+maxQ(sn+1,a|0)-Q(sn,an|0)?(20)在本文中，无人机作为智能体，根据当前的状态选择最佳的动作，并获得奖励，然后转移到下一个状态。智能体的状态、动作和奖励设置如下：1）状态指无人机所在的位置，起始状态随机生成，对应于Qs，终止状态对应于qf；2）动作指无人机的飞行方向，包含前、后、左、右4个方向，如图2 所示；3）奖励设置为R(q)=-1一Pout(q)，对应于目标函数，无人机在到达目的地之前，多走一步便会受到大小为1的惩罚值，若进入弱覆盖区域，还会受到权重为的惩罚，这促使无人机避开弱覆盖区域，并尽快到达目的地。问205第2 期王鑫，集十深度强（机路径规划与无线电测绘图2 无人机飞行方向示意图Figure 2UAV fight direction schematic2.2DQN算法的扩展本文以深度Q网络（deepQnetwork，D Q N）为基础，采用了其3个有效扩展来解决题，提高了学习效率。2.2.1Double DQN由于传统DQN在动作选择时，总是选择具有最大评估值的动作，导致评估值和实际值之间存在偏差，从而降低学习性能。为解决这个问题，文献14 提出了Double DQN，将损失函数改为(Rn+1+Q(qn+1,0*|0-)-Q(0n,n|0)2(21)式中:u*=argmaxQ(sn+1,/0)。2.2.2Dueling 网络Dueling网络是一种神经网络结构设计，该网络首先分别估计状态值和动作值，然后将它们组合起来，得到动作价值函数Q的估计，使学习过程更加有效。2.2.3多步自举技术考虑了Ni步之后的回报，能够有效加速训练过程。Ni步的回报由下式给出Ni-1Rn:n+Nirn+k+1(22)k=0此时，损失函数确定为(Rn:n+Ni+*0)-Q(n,un/0)2(23)式中:*=argmaxQ(qn+N,0)。2.3轨迹设计算法SNARM算法的具体流程如下：初始化情节数Nepi，每情节最大步数Nstep，容错距离Dtol，探索概率o，衰减率，奖励值Rdes，Po b，权重系数，容量为C的重放经验池D，无线电地图数据库E，Q网络参数，目标网络参数一=；end for动(以-greedy策略选择动作Un；初始化大小为Ni的第42 卷206应用报学学科fornepi=1,2,.,Nepi;滑窗W，实际初始位置gs，模拟初始位置s；5执行动作，得到下状态Qn+1，测量获得当前中断概Pout（q n+1），设置单步奖历Rn=-1-Pout(qn+1);将（qn,Un,Rn,qn+1）存储在滑窗W中；6当nNi时，计算R(n-Ni)n，并将(qn-N1,Un-N1,R(n-N):n,Qn）存储到D中;8从D随机抽样(qj,Uj,Rj:j+Ni,qi+Ni);Rj:j+Ni+Rdes,qj+Ni=qF设置yi=Rj:j+Ni-Pob，q9qi+Ni#SRj:j+N1+NiQ(qi+N1,*;0-)，其他对（yiQ(q j,U j;)执行梯度下降，更新网络参数;将测量的中断概率数据添加到E中，并更新地图网络参数；?fori=1,2,.,N;步骤，不同的是，此时步骤聚的中断概率由地图网络模型预测得到；14当到达终点、出界或达到最大步数时，重新初始化s；end for16重复步骤，直到到达终点、出界或达到最大步数；17每循环B次，设置目标网络参数一；蜂窝连接无人机这种通信模式在任务开始前从网络中离线下载无线电地图E，在执行任务的每个时间步n观测当前位置qn，结合E，确定下一步的飞行方向。在执行动作并到达新的位置qn+1时，通过测量经验中断概率Pout(qn+1)，获得相应的奖励。得到的Pout(qn+1）可以作为新的数据输入到E中。与Direct-RL不同，利用无线地图E，无人机能够预测它将采用的每条轨迹的预计回报，而不必沿着该轨迹实际飞行。因此，可以基于E，生成尽可能多的模拟轨迹，并结合实际轨迹，在学习的过程中同时规划价值函数和策略函数，使得智能体在实际任务中获得更优的策略，这就是Dyna框架。其中，模拟轨迹的使用频率比实际轨迹高N倍，无人机每采取一次真实步骤，在模拟轨迹中将使用N=min(n/100,10）个步骤。3仿真验证为了验证算法的性能，本节对SNARM算法进行了仿真，并与Direct-RL算法进行了比较。Direct-RL算法是一种无模型的学习算法，其中用于更新动作价值函数的数据都是通过无人机与环境交互获得的，不具备无线电地图预测网络，也无法生成模拟轨迹。仿真过程中的各项参数如表1所示。3.1通信连通概率图表述图3(a）是所考虑区域中蜂窝网络对每个位置的通信连通概率，即式(3）中定义的中断概率的互补概率，是基于建筑分布和信号模型模拟得到的。图3(b）是SNARM算法通过学习得到的通信连通概率图，两幅图几乎相同，只有微小的差异，这表明，SNARM算法能够有效地复现蜂窝网络中信号的连通概率。207第2 期王鑫，黑十深度强化人机路径规划与无线电测绘表1仿真参数Table 1 Simulation parameters参数取值7th/dB0Nepi5000C100000N130B5Nstep300V/(m/s)10t/s1Rdes200Pob1000040J1 000Dtol/m20200020001.01.015000.815000.80.60.610000000.40.45005000.20.205001000150020000500100015002.000a/ma/m(a）实际连通概率图(b）学习到的连通概率图(a)Actual coverage probability diagram(b)Learned coverage probability diagram图3通信连通概率图Figure 3 Communication connectivity probability diagram3.2轨迹规划深度强化学习的最终目的是最大化智能体从环境中获得的累计回报值。图4展示了SNARM算法和Direct-RL算法每集的移动平均回报，其中移动窗口长度为2 0 0 集。可以观察到，将不考虑飞行路径实际蜂窝覆盖的直线飞行作为比较基准，两种算法的回报都呈现上升趋势，除了早期阶段，两种算法下的轨迹均优于直线飞行。且随着学习经验的累计，SNARM算法实现了更好的连通性能，这是由于其利用学习到的无线电地图进行了模拟飞行，从而实现了路径规划。208第42 卷应用报科学学-1000-15002000-2.500一DirectDL-3000-SNARM-Straight-lineflight-3500010002000 300040005000情节数图4不同算法的移动平均回报Figure 4 Moving average returns for different algorithms图5展示了最后10 0 集的无人机飞行路径，仿真中使用了同一组初始位置，用红色标志表示。通过比较图5(a）和（b)，可以发现两种算法均能引导无人机避开弱覆盖区域，但SNARM算法更具有优势，例如图5(b）中无人机能发现轴10 0 0 m以及y轴10 0 0 17 0 0 m处200020001.01.01.5000.815000.80.60.6100010000.40.45005000.20.205001 00015002.0000500100015002000a/ma/m(a)Direct RL(=40)(b)SNARM(=40)(a)Direct RL(=40)(b)SNARM(=40)20001.015000.80.61.0000.45000.2050010001.5002000/m(cSNARM(=5)(c)SNARM(=5)图5最后10 0 集无人机轨迹图Figure 5 The last 100 episodes of drone track map209第2 期王鑫，退十深度强人机路径规划与无线电测绘的“无线电窄桥”。此外，图5(c）中权重系数=5时，即式（16)中最终优化目标的预计中断部分比重减少，导致无人机沿着更直接的路径到达终点，这证明了权重系数带来的影响。如图5(c）所示，随着的减小，飞行轨迹将逐渐不回避弱覆盖区域，导致部分位置的通信质量下降甚至中断。图6 选取了（30 7.8，2 55.4）为起点，观察不同算法的飞行轨迹，比较结果更加直观。20001.01.5000.80.6u/n10000.4500Direct-RL-Straight-line0.2-SNARM(u=40)-SNARM(u=5)005001 00015002.000a/m图6 同一起点的飞行轨迹Figure 6 Flight path of the same starting point图7 显示不同算法在最后10 集的任务总时间，即实际飞行时间以及预计中断时间的加权和。10 集分别对应10 个不同的起始位置，可以观察到SNARM可以用最少的加权和时间完成任务，达到预期目的。4500-Direct-RL-SNARMStraight-lineflight3.5002.5001.5005002345678910起点图7 不同算法任务完成总时间Figure 7 Total task completion time for different algorithms4结语为了突破传统路径优化设计方法的实际限制，本文采用了基于深度强化学习的SNARM算法规划无人机飞行路径。该算法利用了DQN的三种有效扩展，加入了无线电预测网络进行模拟轨迹规划，使用Dyna框架将实际飞行和模拟飞行相结合，提升了算法性能，缩短了飞行时间和预期中断时间加权和。仿真结果验证了SNARM算法对于覆盖感知无人机路径规划的有效性，以及相对于Direct-RL算法的优越性能。但本文只讨论了无人机平面飞行的情况，如果运用到实际情况中，还需在三维空间下进行研究。雪（编辑：第42 卷210应用报学学科参考文献：1 ZENG Y,LYu J B,ZHANG R.Cellular-connected UAV:potential,challenges,and promisingtechnologies J.IEEE Wireless Communications,2019,26(1):120-127.2 LYu J B,ZHANG R.Network-connected UAV:3-D system modeling and coverage performanceanalysis J.IEEE Internet of Things Journal,2019,6(4):7048-7060.3 CHOwDHURY M M U,SAAD W,GUvENC I.Mobility management for cellular-connected UAVs:a learning-based approach Cl/2020 IEEE International Conference on Communications Work-shops(ICC Workshops),2020:9145089.4 LIU L,ZHANG S W,ZHANG R.Multi-beam UAV communication in cellular uplink:cooper-ative interference cancellation and sum-rate maximization J.IEEE Transactions on WirelessCommunications,2019,18(10):4679-4691.5 ZHANG S W,ZHANG R.Radio map based path planning for cellular-connected UAV C/2019IEEE Global Communications Conference(GLOBECOM),2019:9013177.6 ZHANG S W,ZHANG R.Radio map-based 3D path planning for cellular-connected UAV J.IEEE Transactions on Wireless Communications,2021,20(3):1975-1989.7 ZHANG S W,ZENG Y,ZHANG R.Cellular-enabled UAV communication:_ a connectivity-constrained trajectory optimization perspective J.IEEE Transactions on Communications,2019,67(3):2580-2604.8 ZHANG S W,ZHANG R.Trajectory design for cellular-connected UAV under outage durationconstraint Cl/2019 IEEE International Conference on Communications(ICC),2019:8761259.9 BULUT E,GUEVENc I.Trajectory optimization for cellular-connected UAVs with disconnectiv-ity constraint C/2018 IEEE International Conference on Communications Workshops(ICCWorkshops),2018:8403623.10 AL-HOURANI A,KANDEEPAN S,LARDNER S.Optimal LAP altitude for maximum coverage J.IEEE Wireless Communications Letters,2014,3(6):569-572.11 AzARI M M,RosAs F,CHEN K C,et al.Ultra reliable UAV communication using altitudeand cooperation diversity J.IEEE Transactions on Communications,2018,66(1):330-344.12 You C S,ZHANG R.3D trajectory optimization in Rician fading for UAV-enabled data har-vesting J.IEEE Transactions on Wireless Communications,2019,18(6):3192-3207.13 ZENG Y,Xu X L,JIN S,et al.Simultaneous navigation and radio mapping for cellular-connected UAV with deep reinforcement learning J.IEEE Transactions on Wireless Commu-nications,2021,20(7):4205-4220.14 VAN HAsSELT H,GUEz A,SILVER D.Deep reinforcement learning with double Q-learningC/30th AAAI Conference on Artificial Intelligence,2016:2094-2100.