基于可靠性的卫星服务功能链保护方法.pdf

（）指挥控制与仿真 引用格式：王忠，吴炀，宋化宇，等基于可靠性的卫星服务功能链保护方法指挥控制与仿真，（）：，（）：基于可靠性的卫星服务功能链保护方法王 忠，吴 炀，宋化宇，李飞龙（中国人民解放军 部队，北京）摘 要：在基于 架构的混合卫星网络上讨论了服务功能链（，）的可靠性部署问题，首先对 可靠性保护的问题进行描述，建立了底层网络与 请求模型，然后建立了网络服务功能的可靠性需求模型与低轨卫星链路的可靠性需求模型，明确了优化目标与约束条件。接着提出基于可靠性的卫星服务功能链保护方法，包括基于深度强化学习的可靠性保护算法和基于低轨卫星节点与链路可靠性备份算法。实验表明，提出的基于可靠性的卫星服务功能链保护方法能在 架构的混合卫星网络上提高 请求接受率，减少平均时延，在不同的 可靠性需求的条件下也保持较高的请求接受率。关键词：卫星网络；可靠性保护；服务功能链；可靠性保护算法；深度强化学习中图分类号：文献标志码：，（，）：（），：；收稿日期：修回日期：作者简介：王 忠（）男，高级工程师，研究方向为卫星网络运维、天地一体化信息网络。吴 炀（）男，博士。近年来，卫星通信在军事通信、地质勘测、定位导航、电视直播、气象侦察等军工和民用领域的应用越来越广泛。使用卫星通信传输数据，能够实现全球覆盖，但是卫星与卫星之间距离较远，传播时延较大，加上卫星的运动，卫星网络的拓扑结构不断变化，使得卫星网络无法同地面网络一样实现端到端实时通信。在卫星网络中，采用的是点到点可靠传输机制。卫星通信的特殊性，也使得卫星网络的可靠性尤为重要，卫星链路可以被干扰被侦听，而且卫星也能被物理打击摧毁，当卫星网络服务功能链部署之后，一颗卫星的破坏可能导致整个服务功能链无法使用。因此在卫星网络部署服务功能链需要保证卫星网络的可靠性，当某颗卫星出现故障或者被摧毁时，通常采用相应的冗余备份等策略，可以保证其可靠性。据统计，低轨卫星的故障率占所有卫星的，远高于同步轨道卫星。因此，在基于 架构的混合卫星网络中，在位于数据平面的低轨卫星部署 时，需要进一步考虑卫星服务功能链可靠性保护的问题。地面网络功能因故障而导致的服务失效也时有发生，谷歌公司在 年 月因发生故障，导致很多谷歌提供的网络服务受影响，其中就包括 与。近年来，服务功能链的可靠性越来越受到研究人员的关注。地面 网络常常使用校验和、序列号、确认机制、超时重传等技术来进行数据的可靠传输。然而，在基于 架构的混合卫星网络中，卫星之间的传播时延比地面大，这些技术并不适用。本文在基于 架构的混合卫星网络部署服务功能链时，针对其可靠性要求，提出基于可靠性的卫星服务功能链保护方法。研究现状服务功能链将网络功能和硬件解耦合，使各种业务的部署更加灵活，也大大降低了维护的成本。在对服务功能链可靠性保护的研究中，地面网络的可靠性保护是研究的重点和难点。部分文献是通过完全备份的方法来保证整体的可 王 忠，等：基于可靠性的卫星服务功能链保护方法第 卷靠性。等人采用的备份方法是对网络服务功能专门备份，但是资源消耗较大。文献为了提高 请求接受率，降低开销，将可靠性保护问题转化为马尔可夫模型进行求解。文献将所有的网络服务功能都完全备份，也考虑了共享节点。文献以鲁棒性为标准减少了备份所需要的存储空间。文献为了使 更加安全，采用为 预留资源来备份的方法。文献提出一种使用联合备份的 可靠性保护方法，提高可靠性必然产生相应的开销，相邻备份节点放置时采用联合备份的方式，对 可靠性部署问题建模，建立了整数线性规划模型，提出启发式算法解决问题，该算法能够提高请求接受率，满足 可靠性需求。文献采用的方法是先对网络服务功能的重要度定义，以重要度的高低为标准进行备份。文献将可靠性较低的节点进行备份，从而提高整体 的可靠性。文献为了最小化开销，以资源感知的方法减少代价。近年来，研究者们都选择了采用备份的方法来对服务功能链进行可靠性保护，在设计可靠性保护方法时能够参考的标准包括网络服务功能的重要度、共享度等。在使用备份解决 可靠性保护的问题时，都需要考虑备份所产生的资源消耗，从而优化方法。为了提高请求接受率，研究者也采取了其他方法来保证可靠性。文献提高了 可靠性而未采取备份保护的方法，然而未解决基础设备出现故障而导致 无法使用的问题。在网络功能虚拟化的环境中，文献将物理资源的分配分为三个阶段，分别为成链、映射、调度。成链阶段将 解构为 与链路；映射阶段是指为解构的 和虚拟链路分配网络物理资源，在这一阶段完成 的部署；调度阶段是指网络服务功能的生命周期的管理。文献设计了启发式算法来对服务功能链的可靠性进行保护，首先对服务功能链映射问题进行建模，明确映射的目标函数，再使用启发式算法进行多目标优化，从而解决服务功能链可靠性保护的问题。同时，对网络功能的生命周期的管理也同样重要，若网络功能的生命周期结束，为了进行服务功能链的可靠性保护，必须对网络功能给予良好的维护与管理。文献使用了深度强化学习的方法来保证地面网络的服务功能链的可靠性，大大减少了开销。混合卫星网络中的低轨卫星节点的寿命较短，可靠性不高，需要设计卫星 的可靠性保护方法。模型建立 底层网络底层网络同样是以基于 架构的混合卫星网络为基础。假设基于 架构的混合卫星网络表示为（，），代表底层低轨卫星网络的节点集，代表底层卫星网络的链路集，表示此混合卫星网络中数据平面低轨卫星节点集合，剩余节点资源为。，表示混合卫星网络中数据平面链路集合。表示低轨卫星链路 的剩余可用链路资源。考虑 卫星与 卫星之间存在多跳链路的情况，假设 是节点，之间经过的路径节点集合，是节点与经过的链路集合，（，）是节点，之间经过的跳数。假设低轨卫星节点 的可靠性为，那么部署在节点上的网络服务功能能够获得的可靠性保护可以表示为，数据平面链路 的可靠性若为，那么部署在网络上的服务功能链能够获得的链路可靠性保护为。请求假设 请求的网络服务功能集为，表示依次请求部署的服务功能有 个，请求可以用无向图表示为 （，），其中表示请求的节点资源，表示请求的链路资源，表示 请求到达的时间，表示 请求的服务时间，为了简便，请求的服务时间假设相同。对于第个 中网络服务功能（）来说，假设表示该网络服务功能部署的低轨卫星节点的平均故障时间间隔，表示该网络服务功能部署的低轨卫星节点的平均故障修复时间，那么第 个 中网络服务功能（）的可靠性表达为 （）（）假设链路可靠性为，那么此的可靠性表达为 （）当 请求包含的网络服务功能越多时，整条 的可靠性越小，这是因为当一个网络服务功能不能提供服务时，整条 就不能正常工作。为了简化模型，假设 依次按序到达，每颗低轨卫星只能部署一个网络服务功能，但是部署后的网络服务功能可以由多条 共享，为多条 提供可靠性保护。可靠性需求模型在基于 架构的混合卫星网络中，为了保障 的可靠性，需要同时考虑多个其中的组件，包括链路和低轨卫星节点。的可靠性可以由所有的网络服务功能和虚拟网络中链路的可靠性的乘积所得。假设 可靠性需求为，第 个 中网络服务功能（）的可靠性需求为，第 个 中第 第 期指挥控制与仿真 条虚拟链路的可靠性需求为，。部署的 长度越长，链路的可靠性越低。网络服务功能的可靠性需求模型在一条 中，多个网络服务功能之间的拓扑特性和功能特性都不一样，当一个网络服务功能失效时，对此条 影响的程度、恢复的时间、难度各有不同。可以此为确定可靠性需求的指标，定义相关的参数，通过归一化，确定网络服务功能的可靠性。）网络服务功能共享个数：如 请求部分所述，一个网络服务功能可以由多条 共享。当网络服务功能出现故障，共享此功能的所有 都将受到影响而无法工作。因此可以将部署在同一低轨卫星节点上的 条数作为可靠性的一个参数，即网络服务功能的共享个数设为，当共享个数越大时，造成故障的概率越大，为了避免此种情况，限定网络服务功能的共享个数上限为常数。那么归一化的结果为（）网络服务功能重要程度：在基于 架构的混合卫星网络中，卫星网关、防火墙、网络地址转换、虚拟专用网代理等网络功能具有不同的重要程度，每种网络服务功能的重要程度可以根据经验人为打分获得，假设某个网络服务功能的得分为，那么此网络功能的重要程度归一化结果为 （）网络服务功能损坏后的恢复时间与难度。部署每种网络服务功能使用的计算、内存、存储、带宽资源不尽相同，对资源的需求越高，当网络服务功能损坏时，恢复的时间与难度越大。因此，设计可靠性部署时，应当将对资源需求高的网络服务功能设置更高的可靠性。同样，假设某个网络服务功能的回复时间与难度为，那么，此网络服务功能的回复时间与难度归一化结果为 （）三个参数归一化后带权相加，得到每个网络服务功能的可靠性需求，即，（）（）在部署网络服务功能时，当低轨卫星节点的可靠性满足上述网络服务功能的可靠性需求，则能进行部署。即当低轨卫星节点可靠性 ，时，满足部署可靠性条件。低轨卫星链路可靠性需求模型在部署 时，链路的可靠性同样需要考虑，一般而言，低轨卫星链路的条数越多，链路的可靠性就越低，为了满足链路的可靠性需求，需要控制部署 后的链路长度，假设每一链路的可靠性为，那么链路长度可以计算为 ，（）其中表示向上取整。以上便是从链路可靠性出发设置的链路长度，当链路长度超过这个计算值 时，链路可靠性就会降低，满足不了链路可靠性要求，然而 长度可能会超过这个限制。此时为了解决这个问题，可以采用备份保护的方法。因此当 超过计算阈值 时，延长的链路使用备份保护的方法，采用备份保护方法的链路的可靠性可以设为。优化目标与约束条件本文提出基于可靠性的卫星服务功能链保护方法，如果采取贪婪方法，当为当前卫星 分配的可靠性保护远远超过可靠性需求时，也会造成后来的 可靠性无法得到保证，同时，这也是对资源的浪费。为了解决上述问题，本文将可靠性需求与低轨卫星提供的可靠性差值作为优化目标，尽可能解决可靠性保护资源，即 ，优化目标为。在提出基于可靠性的卫星服务功能链保护方法优化需求与保护的差值之前，需要明确约束条件，假设源节点是，目的节点是，约束条件有以下几个：）低轨卫星节点可靠性要满足此中网络服务功能的可靠性要求，即，（）其中 表示低轨卫星节点 的可靠性。）低轨卫星系统中的星间链路需要满足虚拟链路的可靠性需求，即，（）其中 表示低轨卫星系统中星间链路的可靠性。）剩余的低轨卫星节点的物理资源可以满足此 的部署需求，即（）剩余的低轨卫星星间链路资源可以满足此 虚拟链路的部署，即（）部署成功，源节点和目的节点之间的路径链路集是非空集合，并且跳数非负数。即（）（，）（）基于可靠性的卫星服务功能链保护方法本文采用虚拟拓扑的方法屏蔽卫星网络动态性，王 忠，等：基于可靠性的卫星服务功能链保护方法第 卷将整个卫星网络的周期进行了离散处理，将整个周期划分为 个时隙，每个时隙的网络拓扑保持不变，设为二维矩阵 表示。（）（）（）（）（）（）（）（）其中矩阵中的元素的值为 或，代表两颗低轨卫星之间无连接，代表两颗低轨卫星之间存在星间链路。下标分别表示两颗卫星的标识。假设在基于 架构的混合卫星网络的数据平面中，低轨卫星颗数为，那么可以分析得到状态空间、动作执行空间和奖励集合。）状态空间：探寻的状态空间为 ，其中、为剩余的低轨卫星节点物理资源集合和星间链路资源的集合，表示底层网络资源的情况，、为未映射的 部分集合，表示虚拟网络的情况。表示已部署的低轨卫星节点共享个数。）动作执行空间：，其中表示低轨卫星节点映射动作，表示星间链路映射动作，表示共享映射节点动作。在已部署该网络服务功能的情况下，如果要部署的低轨卫星节点共享度未达到网络服务功能的共享个数上限，那么之间复用该节点进行部署，执行动作，若未部署该网络服务功能或者共享度达到了网络服务功能的共享个数上限，则执行动作。）奖励集合：奖励集合以优化的目标为基础，由于优化的目标越小，效果越好，故反馈的奖励可以计算为 （）当无法执行有效动作时，反馈的奖励值为。提出的基于可靠性的卫星服务功能链保护方法包含两个阶段，一是基于深度强化学习的可靠性保护算法，二是基于低轨卫星节点与链路可靠性备份算法。基于深度强化学习的可靠性保护算法本节介绍了基于深度强化学习的可靠性保护算法，在不需要任何基于 架构的混合卫星网络的先验信息情况下，能够自动学习，完成 的可靠性保护。在此算法中，智能体（地面控制中心）从 卫星获取上述状态空间的信息，包括共享度，选择动作执行空间的动作执行，获得反馈奖励，若是复用同一低轨卫星节点，则将此低轨卫星的共享度加，通过不断和底层卫星网络与 请求联合交互，探寻网络服务功能的合适的可靠性部署，得到最佳的 可靠性保护方法。在此探寻的过程中，智能体的训练与可靠性保护分配同步进行，使用了两层卷积神经网络，当执行足够多的训练之后，能够获得最佳方案。首先是训练过程，为了开始训练，对整个基于 架构的混合卫星网络进行初始化，包括时间片拓扑、请求的长度、经验回放池等，假设 请求采取先到先服务的到达场景。算法首先构建了一个深度神经网络，假设 的权重为，使（，）（，），。（，）是目标网络，是目标网络的权重。在智能体训练时，训练和可靠性保护同时进行，智能体根据对环境的观察执行动作，然后将其放到经验回放池 中。采取记忆重放方法，每一轮训练都从经验回放池 中进行采样对 训练，每个时间片更新，在每个时间片内有 个时刻。训练过程可以表示为算法。算法 智能体训练过程：输入：训练场景数，当前时间片拓扑，学习率，折扣系数，长度为 的 请求队列，当前时间片的 卫星和链路的剩余资源情况以及共享度：输出：权重为 的神经网络：初始化神经网络 并且随机权重设为：初始化经验回放池为：初始化目标网络 并且权重设为：，：初始化卫星网络状态和 请求队列向智能体发送请求：，：确定动作空间，随机产生区间，中的数：有 的概率选择贪婪的策略，有（）的概率按照优先级选择，执行复用动作则将共享度更新：执行选出的动作，计算执行动作获得奖励，得到新的状态：将元组，存入经验回放池（，分别为执行动作 前后的系统状态空间）：从经验回放池 中进行采样：（，）：（，）（，）（，）：（）：更新 且：经过多次训练之后，神经网络的权重系数便会收敛，自适应的可靠性保护就可以自动进行。本文的基于深度强化学习的可靠性保护算法和智第 期指挥控制与仿真 能体的训练同步进行，首先将节点状态、网络拓扑、共享度送入全连接层，将链路状态送入卷积层，再将提取出来的特征向量拼接，输入全连接层计算，通过对反馈奖励的计算，获得优先级排序，再判断是否满足约束条件，满足则执行动作，若复用低轨卫星节点，则更新共享度。若不满足条件，则继续向下寻找。若最终没有满足条件的节点，则采用低轨卫星节点备份的方法保证可靠性。基于深度强化学习的可靠性保护算法的过程如算法 所示。算法 基于深度强化学习的可靠性保护算法过程：输入：基于 架构的混合卫星网络拓扑图，长度为 的泊松到达的 请求队列，卫星网络的状态空间集：输出：部署动作：，：对卫星网络状态进行初始化，对 队列进行初始化，采用先到先服务策略：，：（）：随机选择部署节点，若选取复用动作，则共享度加：依据产生的奖励 选取能够产生最大奖励的动作，若选取复用动作，则共享度加：设当前状态为，执行选取的动作，获得奖励，执行动作后的状态，将四元组，存入经验回放池中。：随机取出批量四元组，组成样本向量集：（，）（，）（，）：更新后将主神经网络参数赋值给目标网络：通过主神经网络得到部署策略：奖励 ：链路长度需求太大无法满足可靠性：执行算法：拒绝该 请求：基于低轨卫星节点与链路可靠性备份算法本节介绍了当链路太长、满足不了可靠性需求或者节点满足不了可靠性需求时，需要采取备份的方法满足可靠性需求，提出基于低轨卫星节点与链路可靠性备份算法。为了尽量提高资源利用率，将可靠性低的低轨卫星节点与链路作为备份节点，算法过程如算法 所示。算法 基于低轨卫星节点与链路可靠性备份算法：输入：输入低轨卫星可靠性，链路可靠性，需要备份的原链路与节点，：输出：备份动作部署：依据低轨卫星可靠性和链路可靠性分别对备份节点与链路进行升序排列：排过序的节点队列：备份节点满足部署可靠性需求，即，：执行备份动作：排过序的链路队列：备份链路满足部署可靠性需求，即，：执行备份动作：找不到满足可靠性的节点或者链路：返回原节点或链路无法部署：备份成功：将低可靠性的低轨卫星节点或者链路作为备份节点，当因可靠性低发生错误时，由于仅仅是备份节点，不影响整体 的使用与可靠性。此算法是对基于深度强化学习的可靠性保护算法的补充，在实际运行的过程中，应当将备份的信息存储在低轨卫星节点，方便 出现可靠性问题之后的恢复。实验分析与结果 实验环境本文使用虚拟机进行实验，位的 的操作系统、处理器、内存、以 为框架，使用的编程语言是 。本文使用了 仿真模拟器来仿真模拟卫星网络。颗 卫星的轨道为 ，精度参数分别为，东经，西经，卫星采用的是类铱星星座，共 颗低轨卫星，轨道面 个。在使用 生成网络服务功能时，本文设定了 种网络服务功能。虚拟网络设置的生存的时间在，之间随机生成，各种网络服务功能的重要度在，之间随机生成（常数 设为）。长度设置为，请求的数据包大小为 ，经验回放池 的大小为 ，在智能体训练开始时，设置 为，在经过一次智能体的训练之后，按照 的递减率减少探索率，同时，递减的最小阈值设为。折扣系数 为 ，学习率 为 。每 王 忠，等：基于可靠性的卫星服务功能链保护方法第 卷轮训练更新，多次重复实验采用均值。实验结果与分析本文实验将提出的基于可靠性的卫星服务功能链保护方法与基于模式感知的可靠部署算法（）和基于 的可靠部署算法（）进行比较。本文提出的算法在结果图中用 表示，比较的指标包括请求接受率、平均时延和不同可靠性需求条件下的请求接受率。）请求接受率图 为 种 可靠性部署算法在基于 架构的混合卫星网络中的请求接受率与时间的关系。纵坐标表示请求接受率，单位为，由接受部署的 请求条数除以 请求总数而得，横坐标表示时间，单位为 个时间单位。图 请求接受率比较 从图中可以看出，种算法都随着时间的增加而请求接受率减小。基于可靠性的卫星服务功能链保护方法基本上能够保持在 以上，算法次之，算法的请求接受率最差。由于提出的基于可靠性的卫星服务功能链保护方法能够充分复用底层物理网络资源，在保证可靠性基础上对资源进行充分复用，以物理资源可靠性与可靠性需求之差作为优化目标，最大限度减少了资源浪费。）平均时延平均时延是用总时延除以成功部署的 条数而得。图 为 种算法在基于 架构的混合卫星网络中的平均时延与 请求条数的关系。纵坐标表示平均时延，单位为，横坐标表示 请求部署的条数，单位为条。图 平均时延比较 从图中可以看出，种算法的平均时延首先都随着 请求部署的条数的增加而增加，然后趋于平缓。基于可靠性的卫星服务功能链保护方法能够将平均时延保持在 左右，算法的平均时延保持在 左右，算法的平均时延保持在 左右。基于可靠性的卫星服务功能链保护方法通过智能体的训练，使得智能体能够自适应快速执行算法，从而减少了平均时延。）不同可靠性需求条件下请求接受率图 为 种 可靠性部署算法在基于 架构的混合卫星网络中的不同可靠性需求条件下，请求接受率与 可靠性需求的关系。纵坐标表示请求接受率，单位为，由接受部署的 请求条数除以 请求总数得出，横坐标表示可靠性需求，单位为。图 不同可靠性需求条件下请求接受率 当可靠性需求增加时，首先，充足的物理资源和可靠性资源能够满足可靠性需求，请求接受率能够达到。随着需求的增加，由于物理网络资源有限，请求接受率降低。基于可靠性的卫星服务功能链保护方法能够在可靠性需求增加的条件下保持最高的请求接受率。这是因为基于低轨卫星节点与链路可靠性备份算法能够在可靠性需求提高的情况下通过备份的方法解决物理资源可靠性不足的问题，解决 请求的可靠性需求满足不了的问题。同时，基于深度强化学习的可靠性保护算法能够最大限度节约可靠性保护和物理网络资源。同时也可看出，请求接受率对于可靠性需求的变化特别敏感，可靠性需求的少量变化就能够导致请求接受率明显下降。综上所述，本文提出的基于可靠性的卫星服务功能链保护方法能够在基于 架构的混合卫星网络上增加 请求接受率，减少平均时延，同时，在不同可靠性需求的条件下也能够保持较高的请求接受率。结束语本文基于 架构的混合卫星网络，讨论了 的可靠性部署问题。首先对 可靠性保护的问题进行描述，建立了底层网络与 请求模型，然后建立了网络服务功能的可靠性需求模型与低轨卫星链路的可第 期指挥控制与仿真 靠性需求模型，明确了优化目标与约束条件。接着提出基于可靠性的卫星服务功能链保护方法，包括基于深度强化学习的可靠性保护算法和基于低轨卫星节点与链路可靠性备份算法。实验证明，提出的基于可靠性的卫星服务功能链保护方法能够在基于 架构的混合卫星网络上提高 请求接受率，减少平均时延，并且在不同的 可靠性需求的条件下保持较高的请求接受率。参考文献：，（）：，：，（）：，：，（）：，（）：，（），（）：，（）：，（），：，（），：汤红波，邱航，游伟，等 基于联合备份的服务功能链可靠性保障的部署方法 电子与信息学报，（）：，（）：，（），：，：，：，：，（）：刘光远，安秀芳，苏森 基于节点可靠性感知和共享路径保护的虚拟网映射算法研究 通信学报，（）：，（）：，（）：，（）：，（）：，：，（）：，（），：，（），：，（）：（责任编辑：许韦韦）