下一代IP城域网的设计.pdf

82广播电视网络 2023 年第 7 期 总第 403 期多彩贵州广电云专栏聚焦运营商多彩贵州广电云专栏下一代 IP 城域网的设计苟明宇 贵州省广播电视信息网络股份有限公司摘要：为满足广电网络直播、互动、数据、政企、物联网、固网宽带、5G 等业务需求，本文以政企行业应用、差异化体验（超低延时）、云化、固移融合作为统一承载目标，设计了一张以通信云数据中心为核心，融合传输与 RAN 技术，具备多业务承载能力的下一代城域网，并提供了如何向下一代 IP 城域网进行演进的技术方案。关键词：IP 城域网 MPLS SR EVPN1 引言 贵州省广播电视信息网络股份有限公司（以下简称“贵广网络”）现有 IP 骨干网与视频交换网经过 10 余年的平行建设发展，承载了超 600 万个人用户直播、互动、光纤到户（FTTH）以及公司各类音视频 IP 专网业务。随着全省视频业务流量不断增长与专网业务类型的增多，各类业务节点迅速增加，业务节点下沉趋势明显。目前，IP 骨干网络在业务方面使用的是已有 20 多年发展历史的多协议标签交换（MPLS）技术，存在设备越多配置越复杂且故障点越多的问题。考虑到未来承载 5G 大带宽、回传、网络自动化、SDN 化的发展趋势，现有架构面临运维成本高、业务开通时间长、割接复杂、同一平面支持太多业务的问题。现网为保障每种业务的可靠性与独立性，采用了独立平面的模式，将视频直播网络、视频交换网络、路由 VPN 网络进行了物理区分，这就带来了“烟囱型”网络架构问题。当前，网络遇到的问题越来越多，且已经跟不上业务发展的需求。业务编排现有的问题和需要解决的问题如图1所示。IP 核心承载网络建设运维必须考虑未来对全业务的支撑，城域骨干层面将在现有业务结构简化的基础上，直接承载直播（TS over IPTV）、互动（IPTV）、数据、政企、物联网、固网宽带、5G 业务。为此，需要采用新的网络标准与产品提升网络流量的疏导能力，构建一张以通信云数据中心为核心，融合传输与 RAN 技术，具备多业务承载能力的下一代城域网，其是以满足全省未来以 5G 业务为导向，兼顾大客户、个人用户、虚拟资源池等业务需求的智能城域网络。2 下一代 IP 城域网的 关键要素为了解决以上挑战，全省需要构建一张面向 5G 时代的固移融合、云网一体、物理+虚拟化的下一代智能承载骨干网络，因此需要考虑以下 5 个关键要素。图 1 业务编排现有问题及需要解决问题83多彩贵州广电云专栏广播电视网络 2023 年第 7 期 总第 403 期聚焦运营商2.1 结构简化网络结构极简化，拓扑结构简单明了，用以实现新一代网络整体简单标准化架构，减少建设成本的同时又便于维护和扩展。2.2 协议简化初期利用现网支持 SR（Segment Routing）协议的设备先开启标签能力，新建的设备采用新一代支持Segment Routing+EVPN 协议（简称 SR+EVPN）的产品，简化设备技术要求，降低设备成本，后期设备数量达到一定规模后启用 SRv6。2.3 设备简化与绿色能耗使用硬件产品全方位支持 SR 标准协议的网络硬件产品设备，解决某些厂家产品在 VPN 业务方面无法与其他厂家联通的问题。所有业务标准化互通，大幅降低产品建设成本，提高设备板卡端口密度。除省市级核心机房，尽量选择小型化高密度设备，减少对机房空间、电源功耗等资源的需求。2.4 毫秒级流量监测传统综合网管通过 SNMP 周期性地采集数据，下一代 IP 城域网选用全部支持 Telemetry 标准协议产品，支持毫秒级数据采集，满足管理平台对 AI的支持能力，如故障预判、流量预测能力，使用开源软件进行拓展功能的开发。2.5 网络管控智能化构建智能化、自动化、开放化的网络管控系统，实现端到端的业务极简或自动开通，同时实现骨干网络SDN 化，支撑智能化运维和互联网化运营，提升用户体验，提供上一级管理平台的直接调度，避免被各类监测产品厂家绑定。3 下一代 IP 城域网的 核心技术下一代 IP 城域网架构在实现网+云，物理+虚拟的融合前提条件下，为 5G 各类业务预留相应的切片空间，借助全新架构，在一个物理平面下用SR 实现固网的多业务支撑能力，实现固网、移动核心网、云业务、物理网络+虚拟业务的融合能力，其主要架构如图 2 所示。贵广网络下一代城域网设计和规划理念是全网采用 Spine+Leaf 架构组成，在核心建设 P-Spine 设备，各地市核心采用 Spine 设备，其余地区包括县、乡节点全部部署 Leaf 架构设备，做到任意节点全部线速超低延时至核心，任意业务节点全部与 Leaf 设备进行直连，如微型数据中心 CDN 节点、容器等。特别是在专网业务方面，提供完全独立的业务支撑平面，不但简化网络结构，还能够大幅度降低部署成本。物理架构内使用 SR 虚拟出各自独立的业务承载切片，如 IPRAN、城域网、5G 核心网、通信云等，进行统一承载。对于 BGP，IPRAN、城域网、5G 核心网、通信云都是在一个BGP 域下进行承载；对于 IGP，在不同的业务区内，会根据不同业务的部署习惯配置不同的 IGP，业务承载使用 EVPN 技术，智能城域网中所有设备，统一路由域和业务承载协议，对于现有网络情况，先建设新的城域网络核心部分，使用 Option A 拼接不同域之间的 MPLS VPN 业务，然后将业务逐步迁移至新网络中。管控方面，智能城域网业务编排系统通过 Portal 接口登录，通过不同品牌型号产品的对应驱动对设备进行的统一管理，主要包括 NFV编排器（NFV Orchestrator，NFVO）、VNF 管理器（VNF Manager，VNFM）和虚拟设施管理器（Virtualised Infrastructure Manager，VIM）3 个部分。其中，NFVO 负责全网的网络服务、物理/虚拟资源和策略的编排及维护、其他虚拟化系统相关维护管理；实现网络服务生命周期的管理，与 VNFM 配合实现 VNF 的生命周期管理和资源的全局视图功能，最终在 VIM 编辑器为整个 SDN 环境提供网络的支持，根据不同的插件执行，图 2 下一代城域网结构拓扑图84广播电视网络 2023 年第 7 期 总第 403 期多彩贵州广电云专栏聚焦运营商涵盖所有设备接口，也包括交换、路由、BNG、负载均衡设备、防火墙、NFV 类型产品，所有的产品需原厂支持 OVS、SR-IOV，全网业务的自动化部署和开通能力将获得全面的支撑，以往需要 30min 开通的业务能够做到秒级开通。与此同时，实现对业务流量的实时监控和全网流量可视化，包括 3 层组播业务的全流程可视化，可根据网络拥塞、时延高、网络丢包等不同事件实现自动化或人工干预、调度。3.1 Spine+Leaf 架构下一代城域网规划以 Spine+Leaf架构为方向，任意业务节点均通过 Leaf接口对接。Spine 设备可以理解为交换矩阵，连接所有的 Leaf 交换机，Leaf可以直接理解为大型路由器的业务板卡，全省核心骨干承载可以理解为所有业务跑在一台超级路由器上，所有 Leaf的端口都是此台路由器扇出的端口。Spine+Leaf 两层设备的扁平化网络架构来源于 Clos 网络，Clos 网络以贝尔实验室的研究人员 Charles Clos 命名。这种网络架构的主干称为 Spine（脊柱），每个 Leaf（叶子）都从 Spine 连接到进一步扩展的网络资源。只需添加更多的 Spine 或 Leaf 交换机，网络就可以均匀地增长，而不会改变网络性能。3.2 虚拟化及切片技术骨干网使用切片技术来满足不同业务对带宽、延时等业务的保障与独立组网需求，给不同需求的业务分配不同的传输网切片，每个传输网切片就像一个独立的物理网络，且做到了切片平面的独立运维。切片运用虚拟化技术，将网络的链路、节点、端口等拓扑资源虚拟化，在骨干网硬件设施中切分出多个逻辑的虚拟传输子网，在物理网络层构建虚拟子网层。虚拟网络具有独立的管理面、控制面和转发面，各虚拟网络之上可独立支持各种业务，以此实现不同业务之间的隔离，即在一张物理网络中覆盖了多张各种不同用途、不同管理模式的虚拟骨干网络。3.3 SRSR 是一种新型的网络路由技术，其在路由选择中引入了新的概念Segment（片段）。主要的实现思路是在每一跳节点上分配一个段标签，每一个段标签代表一个特定的路径，当报文从源节点发送时，将报文的段标签添加到报文头中，报文在每一跳节点上都会依据其中的段标签来选择最佳的路径，最终实现路由的路径规划和路由的可编程性。而传统路由选择标签需要由管理员指定，并与其它路由器相互确认才能够业务互通，且路由路线必须由人工指定，虽然可以通过 IGP 模式进行路由计算，但配置也非常复杂。相较而言，SR 有更多优势，主要体现在进行流量工程优化后，保护倒换时延 50ms，可媲美传输系统的保护倒换时延，SR-TE 的路径类型主要为指定显示路径，此种方式为静态路径方式，是静态配置转发的路径，配置的路径可以是转发路径的全部节点，也可以是必经的部分节点。路径可通过 SR Node 标签、SR Adj 标签、IP 地址等方式表示。配置主用路径的同时配置备用路径，主用路径故障后切换至备用路径。没有被指定但在转发路径上的节点或链路故障时，使用Ti-LFA 方案进行保护。部分厂家设备支持路径由头节点计算方式，是头节点通过获得的网络拓扑及业务对路径需求计算的路径，计算出的路径可以是转发路径的全部节点，也可以是必经的部分节点。主要在转发路径上的节点或链路故障时，Ti-LFA 生效，对转发路径进行保护，同时拓扑信息的变化会触发头节点重新计算路径。传统的 LFA 取决于网络拓扑，不是在所有的拓扑中都能为目的地提供LFA，Ti-LFA 能提供对各种拓扑场景100%的覆盖，转发路径上的任意节点或链路故障时，Ti-LFA 生效，对转发路径进行保护，而且一直可以使用收敛后路径，这个保护被控制在发生故障的 SR 标签范围内，所以倒换时间能够做到 50ms，而传统的 LFA 拓扑信息的变化会触发头节点重新计算路径。综上所述，SR-TE 根据不同的路径指定方式，采用的保护倒换机制略有差别。设备支持的情况下，可以将动态、静态 2 种路径方式混合使用。3.4 业务编排SR+EVPN 大幅优化了管理平面，按标签分发后，业务编排系统将支持SR+EVPN 的设备纳管在一个平台下，使用不同厂家产品开放的网络能力，可支持多厂商网络产品与业务配置自动化。业务编排能以更轻松、更低的成本整合全新第三方云服务和应用，同时还能减少提供新服务所需的业务模型，并能够开发可编程广域网，实现智能化的数据服务。业务编排的应用意味着未来贵广网络能提供混合云连接，与此同时，动态容量能实现带宽的无限扩展，能按需分配网络资源，为服务商在运维降本增效方面提供了非常有价值的解决方案，实现网络即服务等一系列上层算法、函数、能力的编排演进，并协同管理、控85多彩贵州广电云专栏广播电视网络 2023 年第 7 期 总第 403 期聚焦运营商制和数据面，进一步探索实现编排系统与网络调度系统的协作，为下一步实现XaaS（一切即服务）能力和按需灵活部署模式提供支撑。3.5 遥测 Telemetry传统网络监控方式，如 SNMP Get和 CLI，精度是分钟级别（大型运营商网络设备 SNMP 通常设置为 5 分钟采集一次），只能依靠加大查询频度来提升获取数据的精度。由于网络传输时延的存在，监控到的网络节点数据并不精确，高密度的数据采集会导致被采集设备引擎 CPU 占用率高，从而影响设备对基本业务的处理能力。Telemetry 实现毫秒级颗粒度检测，基于时序数据库实现，可长期保存数据，可利用AI能力做业务流量模型的预测。4 下一代 IP 城域网的 演进思路未来的城域网建设中，增量设备以支持 SR-TE/SRv6 功能产品为准，初期新建 2 台 P-Spine 作为核心，未来根据各地市业务流量情况判断是否扩容 P-Spine 节点，P-Leaf 节点到市或县，更小节点为 A-Leaf 或 C-Leaf，Leaf 下挂 BNG、接入网设备，部署微型 DC，直接部署 NFV 作为总分布式灾备节点进行统一建设，原有城域网设备进行分类，支持 SR-TE 设备进行升级，作为 PE 或 CE 设备使用，具体架构如图 3 所示。拓扑结构为 2 台 P-Spine 核心，P-Leaf/C-Leaf 架构。任意业务类型都可以用 SR 协议迅速在网内起一个平面，与其他业务不产生影响，原有老骨干与接入网络采用对接 Leaf 的模式进行业务的直通，业务汇聚都能够选择多个 Leaf 节点进行，新平台支持 Dou-Homing（EVPN）的双收模式，下挂原有设备，进行老设备的利用，2 台核心是交换矩阵，Leaf 是 PE 设备，新老网络的对接不使用 ASBR 设备进行互通，可以直接将业务对接 Leaf，未来 Leaf也能够作为 5G 的前传回传使用。在整个城域网中，SR 协议与业务编排系统结合不但能够实现流量工程（SR-TE、SR-Policy），还可以实现端到端的业务下发，如将一个指定 OLT上联口的业务 Leaf 开通一条隧道到通信云的一台连接 BRAS 的 Leaf 上，或者图 3 下一代全业务城域网典型切片架构在某一时段改变该隧道流量流经的物理设备。此外，统一业务承载可以有效避免 SR 到 VXLAN，或 SR 到 LDP，亦或是 SR 到 IP 的拼接，减少配置和运维的复杂度。在通信云 DC 内部设计中，未来5G 核心网需要与固网虚拟化的网元隔离，所以需要提前做好规划，固网业务网元由固网技术人员进行运维，核心网的业务网元由移网的技术人员进行运维，使用物理隔离，即使用不同的 Leaf 接入不同业务网元，有专门接核心网服务器集群的 Leaf 设备，以及专门接固网设备和服务器的 Leaf 设备。5 结语智能城域网的设计目标是打造一张面向未来 10 年的智能网络，以政企行业应用、差异化体验（超低延时）、云化、固移融合作为统一承载目标，帮助公司实现降本增效。这也就是其他电信运营商大力推行智能城域网的原 因。其 中 的 2B 业 务（Business to Business）是政企行业应用的重中之重。智能城域网作为固移融合综合承载方案，具备和 IP RAN 网络对接的能力，统一承载移动网络和固定网络业务。因此，为避免后期网络整改工作，也为了更好地与即将到来的智能城域网相融合，在满足承载需求的情况下，可以避免像其他运营商进行到IP RAN2.0 过渡过程中不必要的重复投资，本次规划设计是在不改动现网城域网架构的基础上，通过增加核心、汇聚交换矩阵，逐步接入 OLT 和 CPE上行的固网业务、IP RAN 上行的移网业务，实现从老网络到智能城域网的平滑过渡。RTN