面向工业5G 时间敏感网络的分布式流调度策略.pdf

第47卷总第516期22023年8月第8期“面向6G的物联网技术”专题面向工业5G+时间敏感网络的分布式流调度策略*Decentralized Flow Scheduling for Industrial 5G and TSN Integrated Networks5G和时间敏感网络的融合是工业制造无线升级的关键技术。在3GPP发布的版本16中，研究的关键方向之一是增强5G系统以满足TSN支持的工业应用，助力提升工业互联网的实时转发与泛在感知能力。由于TSN和5G系统的服务质量保证机制相互独立，目前5G系统仅作为逻辑网桥接入TSN网络中，因此5G与TSN联合部署仍处于融合初期。首先研究了5G和TSN协同流调度问题，基于5G低时延免授权接入技术和TSN循环排队转发协议，提出一种基于多智能体深度增强学习的5G+TSN分布式流调度策略，联合优化时效敏感流在5G和TSN网络中的调度决策，从而实现5G上行链路的无冲突传输并缓解TSN网络的队列溢出问题。通过仿真实验证明了该策略在学习环境非平稳下的鲁棒性。5G+工业互联网；时间敏感网络；多智能体深度增强学习The integration between 5G and TSN is a key technology to promote the wireless upgrade of manufacturing industry.In 3GPP release 16,one of the key research fields is to enhance the 5G system to meet the industrial applications supported by TSN to empower real-time forwarding and ubiquitous perception in industrial Internet.Since the service quality assurance mechanisms of 5G and TSN are independent,5G system is merely served as a logical bridge to TSN networks currently,and thus the joint deployment of 5G and TSN is still in the initial stage of integration.This paper focuses on the co-design problem of flow scheduling in 5G and TSN.Based on the 5G low-latency grant-free access technology and TSN cyclic queuing and forwarding mechanisms,a 5G+TSN decentralized flow scheduling scheme is proposed based on the multi-agent deep reinforcement learning.The scheduling decision is jointly optimized for the age-of-information aware flows in 5G and TSN to achieve collision-free 5G uplink transmission and mitigate the queue overflow issue in TSN.Through simulation,the proposed scheme shows the robustness to non-stationary learning environments.5G+industrial Internet;time-sensitive networks;multi-agent deep reinforcement learning（重庆大学计算机学院，重庆 400044）(College of Computer Science,Chongqing University,Chongqing 400044,China)【摘 要】李明妍，刘厚灵，古富强LI Mingyan,LIU Houling,GU Fuqiangdoi:10.3969/j.issn.1006-1010.20230615-0001 中图分类号：TN91文献标志码：A 文章编号：1006-1010(2023)08-0002-07引用格式：李明妍,刘厚灵,古富强.面向工业5G+时间敏感网络的分布式流调度策略J.移动通信,2023,47(8):2-8.LI Mingyan,LIU Houling,GU Fuqiang.Decentralized Flow Scheduling for Industrial 5G and TSN Integrated NetworksJ.Mobile Communications,2023,47(8):2-8.Abstract Keywords【关键词】OSID：扫描二维码与作者交流收稿日期：2023-06-15*基金项目：国家自然科学基金青年科学基金项目“面向工业5G+TSN融合网络的时效敏感按需传输机制”（62203077）；重庆市自然科学基金 面上项目“时效敏感的工业现场网络按需互联与适变传输机制”（CSTB2022NSCQ-MSX1029）；重庆市博士后研究人员科研项目特别资助“现场级工业互联网确定传输与适变调度机制”（2021XM2015）；中央高校基本科研基金“面向智能网联汽车群感知系统的在线激励机制”，“融合事件相机的多模鲁棒实时语义SLAM方法”（2022CDJXY-020，2023CDJXY-038）0 引言工业物联网是第四次工业革命的重要支撑，其中时间 敏 感 网 络（TSN,Time Sensitive Networking）技 术基于一系列严格的流量调度协议以保证时间关键任务的确定性交互1。同时，第五代移动通信技术（5G,5th Generation Mobile Communication Technology）和 TSN的集成是推动制造业无线升级的关键技术，可进一步增强工业互联网的泛在感知能力。因有线 TSN 与无线 5G网络互为补充、相互融合，可以满足智能制造对传输时延确定性、覆盖率以及异构设备泛在互联的要求。为此，5G 在版本 16 中引入时间敏感通信技术，以满足工业物联网场景下的 TSN 融合需求。具体将 5G 系统作为一个逻辑网桥，在用户平面上提供了 TSN 以太网第47卷总第516期3 2023年8月第8期受上述工作启发，本文提出通过设计接入 5G 系统的CG 资源，避免上行无线传输冲突的同时，基于其时间偏移优化 TSN 中流量注入时间。本文为 5G+TSN 协同流调度的研究提供了新的思路，主要工作如下：（1）提出了考虑流信息时效约束和 TSN 队列约束的 5G+TSN 确定性流调度问题。（2）设计了一个基于多智能体深度强化学习的分布式流调度策略，以解决非稳态非马尔可夫环境下学习的不稳定问题。（3）针对信息时效优化下的决策耦合问题，提出了流采样-传输分层调度策略以提高学习效率。本文的关键英文缩略词对照表如表 1 所示：表1 英文缩略词对照表中文英文缩略词超可靠低时延通信URLLC免授权、配置授权GF、CG非正交多址访问NOMA循环排队转发CQF信干噪声比SINR门控列表GCL基站BS连续干扰消除SIC传输竞争单元CTU深度神经网络DNN1 工业5G+TSN融合网络1.1 网络架构和联合传输5G+TSN 联 合 传 输 由 5G 系 统 中 GF-NOMA 上 行无线接入和 TSN 中 CQF 多跳转发两个部分组成。从时域角度，5G 系统可以通过使用缩短传输时间间隔，即mini-slot 技术，将传输时隙从 1 ms 缩短至微秒级从而便于对齐 TSN 时隙；从空域角度，用于状态监控的信息时效流客户端分布在工厂内，它们在 5G+TSN 系统中共享上行 CG 资源进行传输，可能相互产生同频干扰。为了减少 5G+TSN 传输中的流传输冲突，基站（BS,Base Station）在每个子帧 t 中预分配了多个带有不同起始时间偏移量的 CG 资源，如图 1（a）所示，并广播给每个流用户。基站不断探测流并使用连续干扰消除（SIC,Successive Interference Cancellation）技术解码成功探测到的流数据包。BS 收到流数据包后，将其无缝注入 TSN 网络。基于 CQF 协议，每个 TSN 网关和交换机中有两个循出入端口。其中 TSN 网络通过严格时钟同步和时间感知流量调度机制来保证数据流有界低时延、低抖动的传输，标准化程度较高，而 5G 网络通过 QoS 机制按照业务需求进行无线资源的分配和调度。但目前 5G 与 TSN 系统的服务质量保证机制相互独立，只能在 5G 系统边缘采用保持-转发（Hold-and-Forward）机制进行流传输，使得两者无法有效融合部署。超 可 靠 低 时 延 通 信（URLLC,Ultra-Reliable and Low-Latency Communication）是 5G 与 TSN 融合的关键技术。为了实现低时延上行链路接入，URLLC 引入了免授权（GF,Grant-Free）传输方案2。其中，配置授权（CG,Configured-Grant）技术通过周期性地引入多个拥有不同起始时间偏移的 CG 资源，以供大量 URLLC 用户实现低时延传输。在该场景下，URLLC 用户可在数据到达时自主选择一个预配置的 CG 资源进行传输。与传统集中式动态调度相比，这种到达即发送的方式可免去复杂的设备握手过程，大大降低传输时延3。由于 GF 是分布式传输，导致 URLLC 用户自私地竞争 CG 资源，产生传输冲突。为此，文献 49 提出引入非正交多址访问（NOMA,Non-Orthogonal Multiple Access）技术用以缓解网络拥塞，简称为 GF-NOMA 技术。然而，对于 5G+TSN 融合网络，需进一步考虑 TSN 流调度协议以增强 GF-NOMA技术，以保证端到端的时延约束。作为IEEE 802.1 TSN任务组开发的以太网协议扩展，TSN 引入了系列时间感知整形器以保证时间敏感流的确定性转发10。其中，IEEE 802.1Qbv 在严格的队列优先级模式下，为每个时间触发流分配时隙，流只在预先分配分配的时隙内传输数据。因此需要对 TSN 交换机中每个队列的门控列表（GCL,Gate Control List）进行严格且细粒度的控制来确保流之间的时隙隔离11，但需要求解高复杂度的GCL优化问题。为了简化TSN CGL的设计，在 IEEE 802.1 Qch 协议中提出了一种基于乒乓队列的循环排队转发（CQF,Cyclic Queuing and Forwarding）模型，且适用于非周期和周期流。如图 2 所示，CQF 通过配置静态门控列表，循环执行出入队操作，省去了复杂 GCL计算且无需考虑数据包输入输出的时间顺序12。然而，现有关于 TSN CQF 的工作中指出，多个流在转发过程中易聚合到某些关键队列中，由于队列长度有限，最终导致数据包溢出13。为此，文献 1417 提出了许多基于增量启发式算法的注入时间规划策略，通过延迟流的发送时隙，可以提高队列利用率，从而减少队列溢出概率。李明妍,刘厚灵,古富强:面向工业 5G+时间敏感网络的分布式流调度策略第47卷总第516期42023年8月第8期“面向6G的物联网技术”专题环队列，通过配置静态 GCL 执行出入队列切换，从而提供可预测、确定的传输延迟。如图 2 所示，两个乒乓队列（即 Q6 和 Q7）在接受队列门控列表（Rx GCL）和发送队列门控列表（Tx GCL）的控制下以循环交替的方式执行入队和出队操作。因此，在前时隙入队的数据包将在当前时隙出队，同时被下一跳 TSN 交换机接收。最终数据包的转发时延仅与数据包传输跳数和时隙长度有关。针对该确定性传输方式，现有关于 CQF 的研究表明，流注入时间对交换机的队列利用率有重要影响。图2 TSN CQF循环队列示意图为了实现 5G+TSN 的无冲突传输，需在 5G 系统中选择合适的 CG 传输，以避免在 5G 系统里数据包解码失败和在 TSN 网络中产生队列溢出。图 1（c）中构建了一个简单示例，假设队列长度为 1，两个流（f1和 f2）具有重叠路径（SW0 SW1）。如果 f1和 f2没有注入时隙偏移，则由于队列长度有限，f2的数据包将被丢弃。但是，如果f2选择带有一个时隙偏移的 CG2 传输，那么所有的数据包都可以成功到达 SW1，并传输至目的地。1.2 分布式流调度策略概述在分布式免授权传输模式下，流用户基于部分观测自主地进行调度决策。然而，流传输性能取决于所有流的联合行为，同时由于调度策略在不断变化，导致每个流状态转移矩阵也在不断变化，这种“环境非稳定性”会导致学习过程存在不稳定性。因此，本文采用多智能体增强学习来解决这个问题。图 1 展示了本文提出的分布式流调度策略框架，具体由多个本地执行代理和一个集中评估代理组成。一方面，执行代理在流客户端处，负责训练相应的本地调度策略从而及时地在每个子帧起始时输出调度决策，包含：（1）时效敏感的采样决策：决定是否进行数据包采样，以便及时更新监控状态；（2）5G+TSN 联合传输决策：如果进行采样，决定传输 CG 以实现无冲突 5G+TSN 传输。另一方面，评估代理位于基站处，负责从全局和长期角度评估本地执行代理的调度策略。2 系统模型定义信息时效敏感监控系统下的流集合：,0,.,1,iifiFfage src dst loc ma path=(1)每个流 fi有着严格信息时效要求。信息时效（Age-of-Information）简称时效，定义为自最近目的地收到的数据包的生成时间以来所经过的时间18。流 fi在子帧 t的时效定义为 gi,t。fi.age为时效上限。此外，流特征还包括源/目的主机 ID 和位置，以及预先配置的 5G 多址接入签名和 TSN 网络中固定传输路径。采用 Generate-at-will 策略，即当流决定在某个子帧传输时，它会在该子帧起始时采样数据包并立即将该数据包发送到目的地 fi.dst。由于采样的是最新的数据，这种策略可以大大降低系统的信息时效和数据包采样-传输频率，从而节省能耗和减少同频干扰。因此，流的时效演进表示如下：（a）（b）（c）图1 5G+TSN融合传输示意图第47卷总第516期5 2023年8月第8期隙大小和路径长度。将 TSN 网络拓扑抽象为有向图，每个流路径表示为一组链路的有序集合。基于此，5G+TSN 端到端时延由时隙偏移,.i tcoffsetCGN和跳数 hopi决定。根据 TSN 确定性转发特性，流每一跳的接收时隙可通过下述公式计算得出：,5(,),.i tslotiicoffsetGf ehop e fCGNl=+(5)l5G是 5G 中的固定的处理和传播时延。队列资源约束：为了避免队列溢出，规定每个队列长度不应超过队列长度上限。定义指示符 me,来表示流是否占用队列时域资源块(e,)，基于此，队列长度约束表示为：1,0FieesizeiqmQ=(6)2.4 5G+TSN确定性流调度问题将 5G+TSN 融合网络中的时效敏感流确定性调度问题表述为一个合作优化问题，即：,min ti tstiP,(,).,(,)Q,s.t.i tttiettsizegcf ageiqcet (7)Pst表示一次采样-传输能量消耗。将流时效和队列长度演进看作与信道增益和通信干扰相关的随机过程，表示为,(,),(,)i tttettgcqc。因此，该问题是带有环境不确定性的随机约束问题。针对该原问题，引入对偶变量拉格朗日乘子，求解该问题的拉格朗日对偶问题如下：,.m)axmi(,)(,nistii tieesizeiiePgcf ageqcQ+,.m)axmi(,)(,n)istii tieesizeiiePgcf ageqcQ+s.t.0 (8)定义该优化目标为对偶函数(,)。根据文献 20，该问题在满足一定条件下具有零对偶间隙。因此，在对偶域采用随机梯度下降法以迭代方式更新决策变量和对偶变量，如式(9)(10)所示：1(,)tttt+=(9),i ti tti te te tte tgiqe+=+=+(10)针对式(10)，由于对偶函数对于对偶变量 是凸的，因此采用如下零阶信息反馈信息更新对偶变量：,.,()i ti tie tesizetggf age qqQ=(11)剩下问题是如何在不确定和非平稳环境下，求解带有未知对偶函数梯度的方程(9)。,1,01,1i ti ti ti tgrgr=当当 (2),0,1i tr 表示在子帧 t 时流目的端是否成功接收到数据包，由采样决策和传输决策共同决定。2.2 5G GF-NOMA模型针对 5G 上行链路传输，基站通过发送无线资源控制或者下行控制信令在每个子帧 t 处预配置 NCG个 CG 资源2,19。每个 CG 的参数表示如下：,0,.,1,pCGCGpRBoffsetCGpNCGNN=(3)（1）NRB表示此 CG 中资源块（RB,Resource Block）的数量。其中流竞争的最小资源定义为 CTU（Contention Transmission Unit，竞争传输单元），由时频资源 RB和多址接入签名表示。如果多个流使用相同的 CTU 传输，基站无法区分和检测它们，因此无法进一步进行数据包解码。（2）Noffset是此 CG 的起始时隙。采 样-传 输 调 度 决 策：对 任 意 流if，在 子 帧t 时 的 调 度 决 策 定 义 为,:,i ti ti tc=，由 采 样 决 策,0,1i t和 CTU 决策,i tCTUc（当,1i t=）组成。假设为每个流预设多址接入签名，因此流的分布式决策空间大小为.1pRBpCG N=+。NOMA 解码：基于 GF-NOMA 技术，基站在每个时隙，找到单 CTU 集合，即仅由一个流组成的 CTU集合，该 CTU 集合里的流被成功探测。之后基站执行SIC 技术解码流数据包：在每个 SIC 迭代阶段，基站对接收功率最强的流进行解码，然后从接收信号中去除成功解码的信号6。当一个迭代阶段失败时，SIC 过程停止。解码时，根据流的 SINR（Signal-to-Interference-plus-Noise Ratio，信干扰噪声比）是否大于阈值来判断是否解码成功：(4)其中，P 为传输功率，Ci,t为与 fi在相同 RB 上传输且在其之后解码的流，Ci,t表示在此 RB 中检测失败的流。假定不同 RB 中信道衰减是独立的，,i tk c为信道增益，将成功解码 SINR 阈值设为 th。2.3 基于CQF的TSN转发模型基站一旦成功接收到流数据包，便立即注入到 TSN 网络中，其时延是可预测和确定的，只依赖于预先配置的时李明妍,刘厚灵,古富强:面向工业 5G+时间敏感网络的分布式流调度策略第47卷总第516期62023年8月第8期“面向6G的物联网技术”专题3 基于多智能体深度强化学习的分布式流调度策略3.1 本地执行代理：分层调度策略采用多智能深度强化学习下的集中式训练和分散式执行方法来处理非平稳学习问题，如图 3 所示。每个流都有一个本地执行代理用于学习调度策略i 并更新相应的对偶变量，其中调度策略使用 DNN（Deep Neural Network，深度神经网络）参数化方法进行函数拟合，i为 DNN 参数。虽然该参数化方法会带来额外对偶间隙，但根据文献 20 的定理 1 可以得出结论，即当使用具有万能近似特性的 DNN 来进行函数逼近时，由于近似误差理论上可以趋近于零，带来的对偶间隙也趋于零，因此不会造成很大的最优性能损失。该 策 略 在 每 个 子 帧 开 始 时 首 先 收 集 本 地 观 测,1,1(,.,.,.)i ti ti tiiiogf age f loc f ma=，输入 DNN 中并输出采样-传输决策。理想情况下，当系统信息时效足够低时，调度策略将选择不进行采样以节省能耗和减少对邻域流的传输干扰。因此，流间歇性地进行采样传输，导致学习所需的通信反馈信息稀疏，这是由于调度决策耦合关系带来的。为解决该问题，本文提出了具有辅助子目标的分层调度策略。具体地，本地的调度策略可以同时在两个层次上进行控制，分别为感知时效的高层采样策略和底层通信策略组成。高层策略主要根据当前时效状态输出采样决策,iiiio，另一方面，该决策也定义为子目标并传递给低层策略，具体代表通信成功或不通信。因此，当高层决定采样时，底层策略的目标是实现无冲突传输，即基于子目标输出传输决策,ciiiico。通过这种分层控制方式，低层策略受到高层策略提出的子目标监督。高层策略是基于评估代理反馈的全局优势函数进行训练的，基于强化学习的梯度策略定理，式(9)进一步可以表示为：,1,(,)logii ti ttittii tA s a+=(11)此外，设计了通信奖励用于训练低层策略，定义为：,(21).i ti ti tr=(12)通过分层训练，实现无冲突通信的任务被解耦出来，因此能更高效地对两个策略进行学习。3.2 全局评估代理：基于图注意力网络的优势函数在非平稳环境中，一个学习地智能体的转移概率可能会随着其他智能体更新其策略而发生变化。因此，基于集中式训练和分散式执行的思想，引入全局评估代理，从全局和长期遍历的角度学习对偶函数，保证环境稳定性。为此，评估代理首先负责学习 Q 函数，代表了在子帧 t 下输出的长期遍历对偶函数估计值，定义为：000(,)|,t tttttQ s as a=(13)其中，为折扣因子，,tts a为结合每个流观测和调度决策的全局联合状态和行为，,()tistii te te tiePgq=+为瞬时对偶值。上述信息由评估代理从本地执行代理处离线收集得到。为提升学习的可扩展性，该 Q 网络由图注意力网络组成，其中流干扰图的构建考虑了 5G+TSN传输环境下可能会相互产生干扰的流，具体细节可见文献 21。为了训练该 Q 网络，评估代理基于深度 Q 网络算法22进行参数训练，具体采用如下时间差分误差进行反向网络更新：()()11(,),|tttttttLossQ s aQ ss+=+(14)为了减少本地执行代理处梯度估计方差，评估代理基于Q 网络为每个流计算一个于动作相关的优势函数23如下：()|(,)(,)(,),(,),(,)iiiiiiittiiiioA s aQ s ab s ab s aQs=(15)图3 分布式流调度策略架构图第47卷总第516期7 2023年8月第8期具体引入了一个无偏基准，它将除本执行代理决策外的所有流的决策固定，然后进行期望运算，从而保证该基准是本执行代理的无偏估计，同时，将其他流决策带来的影响排除，大大减少估计方差加速策略收敛。最后本地执行代理基于评估代理反馈的优势函数进行策略训练。4 仿真及分析本文设计了一个 5G+TSN 联合传输仿真环境，其中基站位于半径为 600 m 的圆形区域的中心，50 个时效敏感流随机均匀分布在这个区域当中。在每个子帧起始，本地执行代理输出其调度决策，针对上行传输 CTU，设定 CG 和 RB 个数皆为 4。为验证策略的有效性，首先将其与传统深度 Q 网络算法（RL）和随机方法（随机）进行比较。在本文策略下，执行代理 DNN 网络有两个隐藏层，每个隐藏层包含128 个神经网络单元。图 4 显示了训练轮次与流平均信息时效之间的关系。在训练开始阶段，分布式流调度策略由于刚开始学习，效果近似于随机方法，随着训练轮次的增加，两类基于强化学习算法的策略收敛到一个稳定值。可以明显看到，本文算法相较于 RL 策略更快地收敛到更低的信息时效处。值得注意的是，RL 策略性能甚至不如随机的方法，原因为分布式策略所获得的信息有限，即状态空间较小，同时其动作空间较大，导致在训练过程中缺少有效的经验，最终收敛到比较差的结果。类似地，图 5 显示了训练轮次与传输成功率的关系，可以看出分布式流调度策略达到了最高的 98%的成功率。以上仿真结果表明，本文的策略通过分层调度策略和集中式训练分散式执行框架能获得更快地策略收敛速度和更优的调度决策。图4 不同策略下的流信息时效性能图图5 不同策略下的流成功传输率性能图5 结束语本文提出了一种 5G+TSN 融合网络中的流协同调度框架和一种基于多智能体深度强化学习的分布式流调度策略。该策略用于指导多个负责工业状态监控的时效敏感流实时进行本地采样-传输决策，具体包含多个本地执行代理用于学习分层调度策略，和一个基于图注意力网络的评估代理用于指导和协调多个流的分布式学习。面对通信样本不足的情况，执行代理采用了分层增强学习，采用分层结构的 DNN 网络将采样和传输决策解耦，具有高效的学习效率。总体而言，执行代理对样本学习的鲁棒性和评估代理的可扩展性使得该分布式流调度非常适合于工业分布式监控系统，并为未来研究 5G+TSN 联合传输提供了潜在的解决方案。参考文献：1 Nasrallah A,Thyagaturu A,Alharbi Z,et al.Ultra-Low Latency(ULL)Networks:The IEEE TSN and IETF DetNet Standards and Related 5G ULL ResearchJ.IEEE Communications Surveys&Tutorials,2019,21(1):88-145.2 Shahab M B,Abbas R,Shirvanimoghaddam M,et al.Grant-free Non-orthogonal Multiple Access for IoT:A SurveyJ.IEEE Communications Surveys&Tutorials,2020,22(3):1805-1838.3 Liu Y,Deng Y,Elkashlan M,et al.Analyzing Grant-Free Access for URLLC ServiceJ.IEEE Journal on Selected Areas in Communications,2021,39(3):741-755.4 Abbas R,Shirvanimoghaddam M,Li Y,et al.A Novel Analytical Framework for Massive Grant-Free NOMAJ.IEEE Transactions on Communications,2019,67(3):2436-2449.5 Ding Z,Schober R,Fan P,et al.Simple Semi-Grant-Free Transmission Strategies Assisted by Non-Orthogonal Multiple AccessJ.IEEE Transactions on Communications,李明妍,刘厚灵,古富强:面向工业 5G+时间敏感网络的分布式流调度策略第47卷总第516期82023年8月第8期“面向6G的物联网技术”专题李明妍（orcid.org/0000-0002-6239-4872）：助理研究员，上海交通大学博士，加拿大滑铁卢大学联合培养博士，现任职于重庆大学计算机学院，主要从事5G+工业互联网、多智能体增强学习、图神经网络相关的研究工作。刘厚灵：重庆大学计算机学院在读硕士研究生，主要从事5G+工业互联网、时间敏感网络、工业PLC相关的研究工作。古富强：重庆大学计算机学院教授、博士/硕士生导师，博士毕业于澳大利亚墨尔本大学，CCF智能机器人、普适计算专委会和测绘学会位置服务专委会委员，研究方向为无人系统及类脑计算。作者简介2019,67(6):2436-2449.6 Liu Y,Deng Y,Elkashlan M,et al.Optimization of Grant-Free NOMA with Multiple Configured-Grants for mURLLCJ.IEEE Journal on Selected Areas in Communications,2022,40(4):1222-1236.7 Liu Y,Deng Y,Zhou H.Deep Reinforcement Learning-Based Grant-Free NOMA Optimization for mURLLCJ.IEEE Transactions on Communications,2023,71(3):1475-1490.8 Zhang J,Tao X,Wu H,et al.Deep Reinforcement Learning for Throughput Improvement of Uplink Grant-Free NOMA SystemJ.IEEE Internet of Things Journal,2020,7(7):6369-6379.9 Liu J,Shi Z,Zhang S,et al.Distributed Q-Learning Aided Uplink Grant-Free NOMA for Massive Machine-Type CommunicationsJ.IEEE Journal on Selected Areas in Communications,2021,39(7):2029-2041.10 IEEE Std 802.1Qbv-2015.IEEE standard for local and metropolitan area networks bridges and bridged networks-amendment 25:enhancements for scheduled trafficS.2016.11 Yang D,Gong K,Ren J,et al.TC-Flow:Chain Flow Scheduling for Advanced Industrial Applications in Time-Sensitive NetworksJ.IEEE Network,2022,36(2):16-24.12 IEEE Std 802.1Qch-2017.IEEE standard for local and metropolitan area networksbridges and bridged networks amendment 29:cyclic queuing and forwardingS.2017.13 Nasrallah A,Balasubramanian V,Thyagaturu A,et al.Cyclic Queuing and Forwarding for Large Scale Deterministic Networks:A SurveyJ.arXiv preprint arXiv:1905.08478,2019.14 Yan J,Quan W,Jiang X,et al.Injection Time Planning:Making CQF Practical in Time-Sensitive NetworkingC/IEEE INFOCOM 2020-IEEE Conference on Computer Communications(INFOCOM).IEEE,2020.15 Zhang Y,Xu Q,Xu L,et al.Efficient Flow Scheduling for Industrial Time-Sensitive Networking:A Divisibility Theory-Based MethodJ.IEEE Transactions on Industrial Informatics,2022,18(12):9312-9323.16 Quan W,Yan J,Jiang X,et al.On-line Traffic Scheduling optimization in IEEE 802.1Qch based Time-Sensitive NetworksC/International Conference on High Performance Computing and Communications;International Conference on Smart City;IEEE International Conference on Data Science and Systems.IEEE,2020.17 Yang D,Cheng Z,Zhang W,et al.Burst-Aware Time-Triggered Flow Scheduling With Enhanced Multi-CQF in Time-Sensitive NetworksJ.IEEE/ACM Transactions on Networking,2023.18 Kadota I,Modiano E.Minimizing the Age of Information in Wireless Networks with Stochastic ArrivalsC/IEEE INFOCOM 2021-IEEE Conference on Computer Communications.IEEE Computer Society,2021.19 3GPP.3GPP TR 38.824 v16.0.0.0:Study on physical layer enhancements for NR ultra-reliable and low latency case(URLLC)S.2019.20 Eisen M,Zhang C,Chamon L,et al.Learning Optimal Resource Allocations in Wireless SystemsJ.IEEE Transactions on Signal Processing,2019,67(10):2775-2790.21 Velikovi P,Cucurull G,Casanova A,et al.Graph Attention NetworksC/International Conference on Learning Representations(ICLR).2018.22 Lillicrap T P,Hunt J J,Pritzel A,et al.Continuous Control with Deep Reinforcement LearningC/International Conference on Learning Representations(ICLR).2018.23 Foerster J N,Farquhar G,Afouras T,et al.Counterfactual Multi-Agent Policy GradientsC/AAAI Conference on Artificial Intelligence(AAAI).2018.