无人机蜂群通信感知一体化关键技术.pdf

第 44 卷第 3 期 国 防 科 技 Vol.44,No.3 2023 年 6 月 NATIONAL DEFENSE TECHNOLOGY Jun.2023 收稿日期 2022-10-31 修回日期 2023-02-25 采用日期 2023-03-02 基金项目 国家自然科学基金项目（62001500）*通信作者 杨龑，E-mail： 作者简介 贾维敏，女，教授，博士生导师，研究方向为信号处理；杨龑，男，硕士研究生，研究方向为无人机蜂群组网和深度强化学习；赵建伟，男，讲师，硕士生导师，研究方向为5G、6G、无人机蜂群组网与调度、深度强化学习；金伟，男，博士，副教授，研究方向为阵列信号处理；何芳，女，博士，讲师，研究方向为机器学习、图像处理。无人机蜂群通信感知一体化关键技术 贾维敏，杨 龑*，赵建伟，金 伟，何 芳（火箭军工程大学，陕西 西安 710038）摘 要 无人机蜂群机动性强、易于调度、部署灵活，是未来战场态势互联互通、快速精确打击的重要手段。多无人机“通信感知一体化”将无人机通信和感知两个功能互融在一起，在无线信道传输信息的同时，主动认知并分析信道的特性，感知周围环境的物理特征，使得通信与感知功能相互得到增强。与此同时，深度强化学习将深度学习的感知能力和特征提取能力与传统强化学习的决策能力进行有机结合，解决了智能体决策博弈类的现实问题。将通信感知一体化和深度强化学习应用于多无人机态势感知、信息传递、任务规划、资源调度等，能够为多无人机蜂群系统的发展和实践应用奠定基础。关键词 无人机蜂群；通信感知一体化；深度强化学习 中图分类号 TJ01;E917 文献标志码 A 文章编号 1671-4547(2023)03-0088-08 DOI：10.13943/j.issn 1671-4547.2023.03.12 引言 未来无人机协同通信网络需要支持Gbit/s的用户体验速率、无人机蜂群灵活快速组网、低时延的控制信令传递以及百兆系统带宽。考虑到蜂群通信对大容量、高速率通信的需求，无人机通信的技术焦点开始向5G毫米波、6G太赫兹等高频段转移。然而，基于5G/6G通信的无人机蜂群也面临着巨大挑战，毫米波、太赫兹通信频谱与传统感知频谱的重合性以及高频段传播信道的稀疏特性、超大规模多天线的应用、无人机高速移动性、编队的动态变化、蜂群多维资源的有限性等给无人机蜂群应用带来了巨大挑战1-3。无人机蜂群应用已经突破了传统移动通信系统的应用范畴，以统一的技术框架支撑无人机蜂群极度差异化的多任务需求。多无人机通信感知一体化技术可以将无人机的通信和感知两种功能融合在一起，使系统同时具备这两种功能，在利用无线信道传输信息的同时，主动认知并分析信道的特性，感知周围环境的物理特征，增强通信与感知功能。通信感知一体化和深度强化学习为应对无 人机蜂群技术挑战提供了潜在可能性。本文主要研究利用先进的信号处理技术设计多无人机蜂群通信感知一体化架构，以应对多无人机航行轨迹、姿态、编队拓扑、时空大尺度动态变化等挑战；设计高效的多无人机通信感知一体化协同任务规划方法，实现多无人机协同控制与组网；综合考虑系统谱效、能效、用户传 贾维敏，等：无人机蜂群通信感知一体化关键技术 89 输速率、服务质量以及公平性等需求，利用深度强化学习技术优化调度通信感知一体化架构下的多无人机位置、姿态、载波、频谱、功率、波束、存储、计算等资源，实现蜂群高效、鲁棒、智能的资源分配。1 通信感知一体化技术 通信感知一体化技术是通过在通信与感知之间共享频谱、硬件平台乃至基带波形和信号处理，从而提升系统的频谱效率、能量效率和硬件效率，以获取集成增益的一种新兴技术。通信感知一体化技术可以通过通信与感知两种功能的相互辅助和相互增益来提升彼此性能，从而获取协作增益，例如通信辅助感知技术和感知辅助通信技术等。2022年7月15日，华为公司完成了面向5G-Advanced无人机通信感知一体化技术的测试验证，进一步成功验证了通感一体化在低空无人机探测领域的应用4。此次测试结果表明，5G-Advanced通信感知一体化技术能够满足物流无人机管控和园区低空安全探测的场景要求，不仅为通信感知一体化技术创新提供重要参考，也为无人机蜂群通信感知一体化系统的实现提供了现实依据。通信感知一体化与无人机技术的结合展现出广阔的发展前景。从通信与感知一体化的初衷来看，这种系统基于获得的感知信息，结合通信系统，能够大幅提升通信系统的服务能力。无人机携带多种任务载荷，可对空间进行灵活感知，满足高精度定位、高精度成像和环境重构等复杂任务需求。无人机蜂群通信感知一体化设计可显著提升无人机蜂群的整体性能。多无人机通信与感知一体化将无人机通信和感知两个功能融合在一起，在使用无线信道传输信息的同时，主动认知并分析信道特性，感知周围环境的物理特征，使得通信与感知功能得到相互增强5。无人机蜂群通信感知一体化系统通过无线通信传递和汇聚感知信息，不仅可以将感知信息和通信信息在系统内进行融合，更好地实时感知外界环境，同时可以通过服务接口的形式将感知数据等提供给上层应用，从而更好地为操作员及上级指挥机构提供更为便捷并包含地理位置、天气状况等的准确信息。通信感知一体化的能力开放技术可提供高精度定位、高分辨率成像以及虚拟环境重构等高效感知服务及应用，有效构建数字孪生环境6，更好地实现对战场环境的态势感知，有利于指挥员更好地把控战场全局，从而作出更好的判断与决策部署。2 深度强化学习 深度强化学习将深度学习的感知能力和特征提取能力与传统强化学习的决策能力进行有机结合，解决了智能体决策博弈类的现实问题。谷歌公司“深度思考”（DeepMind）团队在2013年神经信息处理系统大会上发表的深度强化学习算法将深度学习与强化学习有机结合，实现了从感知到动作的端对端学习。该团队在2016年发表于自然期刊上的文章中提出了改进版本，一定程度上解决了样本强关联性的问题，让深度强化学习真正成为当前研究热点。随着“阿尔法狗”在围棋界大放异彩，人们对人工智能有了新的认识，而脸书的人工智能系统OpenAI Five在“刀塔2”（Dota2）游戏中战胜了当时的世界冠军队伍，再次让人们见识到了这项技术的价值。针对深度强化学习无法解决连续动作空间的问题，又相继有人提出了“行为-评价”（Actor-Critic）模式的多种算法。这些算法将基于策略和基于价值的两种优化方式结合起来，在采样效率、算法收敛性、超参数敏感程度等方面各有侧重，较为典型的有DDPG、A3C、SAC、PPO等。与此同时，针对多智能体的问题，DeepMind又提出了多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient，简称MADDPG）一类的算法。针对MADDPG可拓展性不强的现实问题，又有人提出了多智能体强化学习算90 国防科技 2023 年第 3 期（总第 340 期）法，将注意力机制结合到算法当中，使每个智能体选择性关注其他智能体的有价值的行为及策略，以改进自身策略，最后在多智能体间达到纳什均衡。文献7综述了深度强化学习等人工智能技术在移动无线通信网络中的应用机遇与挑战，并探索了将人工智能应用于移动通信的关键技术。文献8提出了一种基于强化学习的多无人机调度与轨迹设计方法。这种方法能够利用Q学习算法提升系统的调度性能。文献9将深度强化学习、联邦学习与边缘计算联合设计，提升了移动通信系统的性能。文献10提出了一种基于深度学习技术的大规模多输入多输出（MIMO）通信系统信道预测方法，有效降低了下行信道信息获取的复杂度和训练反馈开销。在深度强化学习算法的支持下，无人机蜂群系统拥有自主决策权，可实现多无人机间的实时信息交互，也可与战场环境进行深维度的信息交互，不断优化对战场态势的感知，从而获得完成任务的最优策略，辅助指挥员在复杂多变的战场环境中遂行多样化任务，提升效率。3 无人机蜂群通信感知一体化关键技术设计 3.1 无人机蜂群通信感知一体化智能信号处理 高频段超大规模多天线多无人机蜂群系统面临诸多挑战：多无人机空中飞行加之高频段高路径损耗，使得信号传播以视距路径为主；无人机处于持续运动中，编队动态拓扑、信道时刻变化；高频段超大规模天线阵列条件下，信道维度巨大，无人机蜂群通信将产生波束倾斜效应；受无人机尺寸、质量、功率等影响，无人机射频链路的数量受到限制。高维的信道维度、有限的射频链路和动态拓扑的编队飞行使得传统的无线通信方案难以利用统一的技术框架来支撑无人机蜂群极度差异化的应用。通信感知一体化架构下，无人机蜂群可以将通信与感知融为一体，提高感知性能与传输效率。无人机蜂群通信感知一体化架构如图1所示，图中AE为5架无人机。图1 无人机蜂群通信感知一体化架构 未来战场环境下无人机蜂群主要可能应用三种通信感知一体化实现技术：射频感知，用于发送射频信号，通过接收和处理反射信号来了解环境；以蜂窝网作为传感器，通信系统同时用于目标检测、跟踪、识别、定位、移动成像等；感知辅助通信，即利用感知信息来实现信道参数和环境信息获取等辅助通信功能，用以实现通信链路设计、波速对齐、信道状态信息（CSI）采集等7。围绕无人机蜂群通信感知一体化技术可进行复杂环境下的无人机蜂群信道建模重构、信道参数提取，设计通信感知架构和模式，利用通信感知一体化智能信号处理方法实现精确感知和高效通信。对无人机蜂群而言，信道传播以视距路径为主，信道可以表征为：,()vec,m km km kkmdm kkmdm kfffffhabp(1)其中，,()m kfh为无人机m与用户k的信道，,(,)m kfa为阵列流型矢量，,m k为入射路径 目标方位角参 数，21,kmdb sjfN Tkmdfeb 2(1)kmdb sjfLN Te为多普勒频移kmdf相关信道矢量，,m k为信道增益。在通信感知一体化架构下，还可以利用无人机携带的各类传感器简化信道信息获取的复杂度，缩减训练开销。具体而言，可以利用传感器融合的方法，利用感知辅助通信获取无人机运动相关参数。通过感知信息估计多普勒 贾维敏，等：无人机蜂群通信感知一体化关键技术 91 频移、入射角等各入射径的物理参数，实现对整体信道的降维和稀疏化。无人机蜂群智能通信传输策略如图2所示。与此同时，基于无人机蜂群毫米波多天线的超强空间分辨率和超强时间分辨率，结合使用在线处理的强化学习方法，能够实现无人机蜂群智能实体与环境的动态感知交互，有效解决无人机蜂群毫米波多天线通信训练开销巨大的问题。在此之后，利用基于反馈学习的多普勒频偏自动校正方法，对接收到的信号频率进行自动校正。可以利用深度学习的方法对接收到的海量数据进行挖掘和训练，构建具备环境适应能力的信道信息获取与多普勒频偏自动校正系统，提高信道信息获取的精度和系统效率，从而提升无人机蜂群的整体性能。针对无人机蜂群通信信道环境的快速变化对波束跟踪的影响，可以设计基于参数学习的波束跟踪方法。利用通信辅助感知技术，根据无人机物理信道模型可知，当无人机航行时，入射径发生变化，波束跟踪可以转换为对用户角度的跟踪以及相应系数估计问题。可以根据目标方位角（DOA）与基向量之间的对应关系更新用户信道模型正交基向量，跟踪用户DOA变化，根据蜂群无人机的运动规律拟合用户波束指向DOA变化的状态函数，然后采用卡尔曼滤波对DOA进行精确动态跟踪。为进一步提高波束跟踪的精度，可利用接收数据对波束跟踪状态函数中的参数进行学习，实现波束的实时动态跟踪。3.2 无人机蜂群通信感知一体化协同任务规划 无人机蜂群通信感知一体化涉及的应用场景较为复杂，如目标定位和跟踪、同步成像和制图等，关键绩效指标（KPI）种类繁多。要实现多节点无人机控制与组网，需要引入高维度优化参数。由于这些指标互相依赖或者互相矛盾，建立全局性优化模型难度较大。与此同时，无人机蜂群运动使得蜂群内无人机空间位置不断改变，网络拓扑结构快速变化。无人机集群通信网络拓扑结构与单机和地面站的通信拓扑不同，是一种立体全方位通信网络拓扑。集群通信网络感知系统不仅是无人机集群通信的 基础，还是无人机集群编队重要信息的获取通道11。随着蜂群内无人机的加入与离开，网络节点组成不断变化，需要实时进行网络维护，及时掌控网络拓扑结构。针对无人机蜂群组网航行轨迹、姿态、编队拓扑等动态变化挑战，研究无人机蜂群智能编队控制与组网技术，利用多智能体强化学习实现无人机蜂群的动态拓扑构建、灵活组网、高效自主控制和全空域无遮挡覆盖，可以快速适应瞬息万变的动态战场环境，实现对战场态势的全方位无死角的实时感知。图2 无人机蜂群智能通信传输策略 92 国防科技 2023 年第 3 期（总第 340 期）利用多智能体强化学习优化无人机蜂群协同编队控制与组网如图3所示。具体而言，可将无人机蜂群通信节点的动态加入、离开，蜂群编队的动态变化，服务终端链接的建立、维护等表征为连续性决策问题。蜂群内任意无人机智能体根据编队调整Dt与通信服务需求rt、更新贝叶斯滤波器Xt，自适应调整运动状态btm，以满足用户的动态通信需求。蜂群通信系统奖励值amt 由所有无人机智能体的行动和服务终端反馈的通信质量共同决定。可基于多层神经网络运用信任区域策略优化（Trust Region Policy Optimization，简称TRPO）训练无人机蜂群的节点共享政策。为应对蜂群自组网络动态拓扑挑战，建立无人机状态模型、编队拓扑模型、无人机动力学模型和控制模型12。可根据蜂群环境综合运用势函数策略、领导者-跟随者策略、虚拟结构策略、一致性策略、行为策略、模糊逻辑控制策略等计算智能技术，探索无人机自组网编队控制策略，满足无人机蜂群编队保持和重组、任务更新、编队可靠性需求。蜂群编队动力学系统的动力学模型F和控制模型H可以用式（2）和式（3）表示：(,)nnnnnFF Sb(2)(,)nnnnHHSh(3)式（2）和式（3）中，n是蜂群控制输入，nb是蜂群通信干扰项，nh是蜂群无人机控制所需要的外部信息。针对蜂群拓扑动态变化的特点，刻意结合用户空间位置信息以及时间变化状态等，利用环境感知与学习技术确定基站最佳的部署方位和指向方向，完成无人机蜂群基站的运动轨迹设计与姿态调整。同时，在无人机蜂群中设置策略机，该机负责规划安排任务，将所有涉及通信任务需求的无人机任务划分优先级，提前预判可能发生冲突的区域。蜂群根据多样化任务需求形成不同编队，通过多架邻近无人机的智能协作突破单无人机覆盖范围局限，实现蜂群网络的扩展，满足多样化任务需求。与此同时，可探索蜂群智能协作与组网机制，着重利用无人机蜂群智能协作实现全空间网络覆盖。为有效降低无人机蜂群编队拓扑变化带来的剧烈影响，可通过研究双层无人机蜂群覆盖策略构建三维无人机蜂群覆盖模型，充分利用无人机蜂群的航行轨迹和姿态变化搭建自适应网络重构模型。模型顶层设置按预设轨迹飞行的大型无人机，由其提供大区域网络覆盖能力，克服物理遮挡对蜂群通信造成的影响。针对双层无人机网络多跳路由选取中拓扑结构快变难题，选择图论理论对多跳信息转发节点的最优路径选择问题进行建模，利用最优 图3 利用多智能体强化学习优化无人机蜂群协同编队控制与组网 贾维敏，等：无人机蜂群通信感知一体化关键技术 93 化理论、最短路径、机器学习等方法求解最优化路径选取问题，以此最大限度缩短无人机蜂群的飞行时间，避开威胁区域，快速抵达目的地完成任务。3.3 多无人机通信感知一体化智能资源调度 对无人机蜂群通信系统而言，系统用以航行和通信的能源有限，蜂群无人机必须协作完成指定任务。蜂群通信感知一体化系统涉及一系列资源分配问题，包括时频资源分配、正交导频资源分配、波束分配、多用户聚类等。问题的模型优化目标是在满足一定程度的服务比例公平性条件下，使得蜂群无线网络的吞吐率最大化13，即,.1max(,.)ftNftnnnnnP V PPnRP VPP (4)maxmin s.t.,mnDPPDm n max0nvV max11NftnnnPPP 其中，,.ftP V PP代表无人机蜂群通信位置、速度、发射功率和接收功率等资源约束，minD为蜂群飞行最小安全距离，maxD为蜂群无人机最大覆盖距离，maxV为无人机最大航行速度，maxP为蜂群发射和接收总功率限制。上述无人机蜂群通信资源分配最优解求解问题通常属于NP-hard类型的组合优化，对应的计算复杂度随系统规模的增加而呈指数级增长。综合考虑系统谱效、能效、用户传输速率、服务质量以及公平性等需求，优化调度天线、载波、频谱、功率、波束、存储、计算等资源，提高系统整体传输性能，将蜂群无人机的位置、运动、姿态等参数联合起来进行资源分配，设计契合无人机蜂群通信的高效、鲁棒、智能资源调配策略。为优化蜂群资源分配，应根据覆盖区域内用户内容的流行度对各无人机基站存储单元上的流行性内容进行动态调整，依据服务质量及公平性等需求，综合考虑业务负载空间分布差异以及用户信道特征，对空间资源进行动态管控。针对蜂群资源管控中所需的大量精准信息难以获取的难题，可利用联邦深度强化学习算法对无人机蜂群通信历史行为信息和系统覆盖区域环境进行感知和挖掘，降低信息交互量，减少信令开销。对于联邦深度Q学习算法，可以选择深度Q函数作为衡量一个智能实体执行无人机蜂群通信某种动作的代价函数。该智能实体根据无人机所处的环境，对所有可能的动作进行深度Q函数评估，并从中选择出奖励最大时所对应的动作，使无人机通信智能实体的动作、环境变化和深度Q函数的调整能以在线的方式实现。具体步骤如下：第一，同一无人机选择信干噪比较小的空闲资源分配至用户；第二，不断更新信干噪比较大的无人机资源分配，寻求更好的性能；第三，对于同一资源，把信干噪比较大的无人机与相邻信干噪比较小的无人机进行配对或分簇；第四，蜂群智能实体在动作集合确定后，以所有用户的信息容量之和为最大准则，选择当前的最优动作对资源进行调整，并按照贝尔曼方程对深度Q函数进行实时更新。如此迭代操作，直至深度Q函数趋于稳定。基于联邦深度强化学习算法的蜂群资源调度如图4所示。结合统计信道状态信息，利用贝叶斯分类器、支持向量机等机器学习方法对历史信道信息和用户行为特点进行分析与挖掘，提取网络信道多种状态模式。针对每一状态模式，利用蚁群算法、粒子群算法等群智能算法求解异构资源，分配近似最优策略，并将这些分配结果存储在系统内供实时调用。在实际系统运行时，实时提取网络状态的特征参数，判断网络所处的状态模式，执行相应分配策略，并评估实施的性能数据。运营过程中所产生的 新数据将保留下来，供系统跟踪信道特征和用户行为演变使用，并以此更新资源分配策略。对系统资源进行更合理的分配，有助于无人机蜂群系统以最小的全局代价、最大的全局收益完成任务。94 国防科技 2023 年第 3 期（总第 340 期）图4 基于联邦深度强化学习算法的蜂群资源调度 4 结语 无人机蜂群是未来战争精确快速打击的关键，是实现机动宽带高速通信的有效手段，也是高效完成机动指挥的重要途径。无人机蜂群通信感知一体化所具备的潜在推动作用可概括为几点。第一，无人机蜂群通信感知一体化传输方法可用于高速时变场景下的信息传输，有效解决高速时变和巨大训练开销对通信系统造成的影响。第二，无人机蜂群通信感知一体化传输方法是传统固定基站通信系统的重要补充。第三，双层无人机蜂群组网方法和无人机蜂群通信能全方位无缝立体覆盖，可以用于态势感知、侦测与对抗，也可用于自然灾害人员营救。新一代人工智能和自主技术快速走向战场，未来战争必将是智能化战争。无人机蜂群也将在未来战场环境下，通过多架无人机协同颠覆传统战争模式。无人机蜂群通信感知一体化技术的研究还面临诸多挑战，任务仍很艰巨。下一步研究需要紧跟无人机蜂群通信感知一体化技术与深度强化学习技术的发展动态，同时从理论与技术层面实现重点突破，实现三者的进一步深度融合，以便更好地掌控战场制空权与制信息权。参考文献 1 SAMPATH A,HOLTZMAN J M.Estimation of maximum Doppler frequency for handoff decisions C/IEEE Vehicular Technology Conference.Secaucus:IEEE,1993:859-862.2 SCHOBER H,JONDRAL F.Velocity estimation for OFDM based communication systemsC/IEEE Vehicular Technology Conference.Vancouver:IEEE,2002:715-718.3 PARK G H,HONG D,KANG C G.Level crossing rate estimation with Doppler adaptive noise suppression technique in frequency domainC/IEEE Vehicular Technology Conference.Orlando:IEEE,2013:1192-1195.4 华为首家完成面向5G-Advanced通感一体技术初步验证EB/OL.(2021-06-07)2023-05-10.https:/ 6G总体愿景与潜在关键技术白皮书正式发布EB/OL.2023-05-10.https:/ 李淑兰.基于5G技术的舰船通信网络系统构建J.舰船科学技术,2021,43(18):142-144.7 SUN Y H,PENG M G,ZHOU Y C,et al.Application of machine learning in wireless networks:Key techniques and open issuesJ.IEEE Communications Surveys&Tutorials,2019,21(4):3072-3108.贾维敏，等：无人机蜂群通信感知一体化关键技术 95 8 LIU X,LIU Y W,CHEN Y.Reinforcement learning in multiple-UAV networks:deployment and movement designJ.IEEE Transactions on Vehicular Technology,2019,68(8):8036-8049.9 WANG X F,HAN Y W,WANG C Y,et al.In-edge AI:Intelligentizing mobile edge computing,caching and communication by federated learning J.IEEE Network,2019,33(5):156-165.10 YANG Y W,GAO F F,YE L I G,et al.Deep learning-based downlink channel prediction for FDD massive MIMO systemJ.IEEE Communications Letters,2019,23(11):1994-1998.11 谷康.外军无人蜂群作战概念研究进展及分析J.航空兵器,2022,29(1):52-57.12 林冰轩,徐明兴,陈志刚,等.基于复杂网络蜂群无人机网络拓扑结构分析J.火力与指挥控制,2022,47(1):38-42.13 王晓云,张小舟,马良,等.6G通信感知一体化网络的感知算法研究与优化J.通信学报,2023,44(2):219-230.Integrated Sensing and Communications in UAV swarm operations JIA Weimin,YANG Yan,ZHAO Jianwei,JIN Wei,HE Fang(Rocket Force University of Engineering,Xian 710038,China)Abstract:Unmanned Aerial Vehicle(UAV)swarms are highly mobile,easy to dispatch,and can be deployed flexibly.Thus,they will comprise a critical communications link and serve as a rapid strike platform in future joint warfare.To synergize communication and perception functions,multi-UAV-enabled Integrated Sensing and Communication(ISAC)systems will utilize mobile robot swarms to actively perceive the characteristics of radio channels and sense the physical features of the environment while transmitting information to network elements.To this end,Deep Reinforcement Learning(DRL)can organically combine the perception and feature-extraction capabilities of deep learning models with the decision-making capabilities of traditional reinforcement learning to support intelligent decision-making.The combination of ISAC and DRL provides a promising approach to address the challenges of UAV swarm technology.The ISAC and DRL to multi-UAV situational awareness,information transfer,mission planning,resource scheduling,and cooperative engagement,laying a foundation for the development and operational application of multi-UAV swarm systems are applied in this paper.Key words:Unmanned Aerial Vehicle swarm;Integrated Sensing and Communication;Deep Reinforcement Learning （责任编辑：王姝）