运营商面向算力时代的光传输网络关键技术及应用.pdf

PAGE058电信新技术New Telecom Technologies新时期的光传输网需要适配算力时代的各种场景化需求，通过部署各项新技术来打造全光算力底座，文章首先分析了算力时代的光网络特征，然后针对O X C、单波4 0 0 G、O S U、P 2 MP 和R O O T 等涉及算网融合的光传输网络关键技术进行了原理介绍，通过某运营商的光传输网架构案例和超算行业案例，将技术原理与应用实践结合，并对未来演进进行了畅想。The optical transmission network in the new era needs to adapt to various scenario-based requirements of the computing power era.By deploying various new technologies to create an all optical computing power base,the article first analyzes the characteristics of the optical network in the computing power era,and then introduces the principles of key optical transmission network technologies related to computing network integration,such as OXC,single wave 400G,OSU,P2MP,and ROOT.Through a case study of an operators optical transmission network architecture and the supercomputing industry,Combining technical principles with practical applications,and imagining future evolution.算力网络 光传输 全光交叉 4 0 0 G 光业务单元Computing power network;Optical transmission;OXC;400G;OSUDoi:10.3969/j.issn.1673-5137.2024.02.009摘 要 Abstract关键词 Key Words1.引言算力网络是一种根据业务需求，在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施。近年来，算力网络的蓬勃发展带来的新业务、新应用、新技术、新模式如雨后春笋般规模涌现，对底层网络的架构、容量、速率、时延、能效、智能、安全性等提出了一系列的新要求。运营商层面逐步提出了算网协同、算网融合和算网一体等针对算力时代的演进策略。以网络为桥梁，使算力成为继水、电之后的新型社会基础性服务，为数字化转型业务提供更加经济、高效、泛在的算力供给方案，是算网融合、算网一体的终极目标。在向目标演进过程中，网络运力需要实现数据在不同用户、算力设施间以及算力设施内的高效流动，是构建综合性算力服务的重要一环。运营商面向算力时代的运力体系架构包含面向算网一体的融合IP网和面向品质联接的光传输网两张网，其中光传输网（以OTN/PeOTN网络技术为代表）作为运力网中的高品质联接网，本质上就具备大带宽、低时延、高可靠等特性，面向算力时代业务承载的新特性，光传输网需进一步增强泛在、智能、敏捷和感知等新能力，从而通过构建品质全光底座来充分释放算力服务能力，给算力用户带来极致体验1。2.新型算力网络架构及其对网络的要求随着国家“东数西算”战略工程的实施，综合算力概念应运而生。综合算力是集算力、存力、运力于一体的新型生产力，其中算力是以计算为核心，存力是以存储容量为核心，运力则是以网络传输性能为核心，三者一起构成综合算力的三要素。算力形态方面，无论是通用算力、智能算力，还是超算算力，当算力与网络结合后呈现的算网架构都可以归结为算力生产网、算力互联网和算力配给网三个方面，如图1所示。（1）算力生产网：算力生产网主要指的是产生算力和存力的数据中心内部网络，以超算为例，当前数据 运营商面向算力时代的光传输网络关键技术及应用 郑维通1 牛文林1 陆源2 张立明2（1.中国联通山东省分公司 山东 济南 250002）（2.山东省邮电规划设计院有限公司 山东 济南 250101）PAGE059电信新技术New Telecom Technologies中心内部逐步开始采用RDMA（远程无损传输）技术，包括Infiniband技术和原生RoCE技术，单链路带宽不低于100Gbps，其中Infiniband交换机的时延可达到几十ns级，满足单个算力中心内部计算集群的数据访问需求，提升算力资源使用效率。（2）算力互联网（运力网）：通过光传输网打造多个算力中心之间的超高速传输平面，实现超低时延、安全可靠、按需装配的协同计算服务，光层互联方案主要采取OXC（全光交叉连接）和单波400G技术满足大带宽接入，灵活敏捷特性通过OTN平面引入OSU（光业务单元），利用OSU的技术特性满足小颗粒切片和业务无极调速和感知功能，同时可以发展基于ROOT（RDMA OVER OTN）的解决方案，打造跨域协同计算池和存储池，支撑行业领域创新应用。（3）算力配给网（接入网）：主要解决算力的接入问题，具体到全光网，需要将智慧光网进行前后的延伸，融入云端和末端，实现光算协同，让客户入网即入算。具体到建网方式上，末端接入需要把全光锚点持续进行下沉，采用PeOTN-CO价值分级建网方法下沉节点深度覆盖用户热点，面向多样化算力接入需求，可以灵活采取OTN P2P、P2MP、SD-WAN、PON等方式实现差异化客户需求。图1：新型算力网络架构高效算力对网络的要求主要体现在“高速泛在”和“弹性协同”两个方面，前者需要网络能够有强劲的运力来保障算力的供给，后者需要网络能够保障算力供给的敏捷性，体现算力均衡和算力随选等能力。运营商层面，迫切需要打造面向未来算网融合的承载网络，包括基于增强IP属性的承载网（利用SRv6、算力信息感知技术等）和基于OTN技术的品质全光网（分组增强型技术、OSU切片技术、OSU感知能力等）。OTN品质全光网作为入云/入算通道和算力中心之间通道的承载方式之一，将面临着业务的动态性和不可预见性，而传统的光网新增业务基本是采用滚动规划的方式预测和建设，并且基于固定速率的接口采取逐层分离式管控，其“过设计”和“静态化”等特性显得承载效率低下，算力时代需要建立一个灵活、开放的全光算网底座架构，构建智能动态的基础承载网络。3.算力时代光传输网关键技术未来光传输网技术演进主要是为了适配新型算力网络架构中的算力互联网和算力配给网，其中算力互联网需要光传输网具备灵活全光交叉（OXC）、大带宽（单波400G）、OSU、ROOT解决方案等技术特性；算力配给网需要光传输网体现差异化业务锚点接入能力，需要将PeOTN网络进一步下沉并具备OTN P2MP等功能。3.1 OXC和单波400G技术ROADM技术具备光层交叉和业务调度的能力，是全光网络互联的基础。传统ROADM设备将交叉能力构建在单模块上，当调度维度逐渐增大时，需要多个ROADM设备共同组网才能满足高维度业务调度需求，占用大量机房空间，同时还需预防高维交叉调度时的波长冲突问题，难以实现E2E动态全光交换。全光交换OXC（optical cross-connect）是对光网络系统中的光信号进行全光交换连接，解决网络间的信息耦合，兼有节点的全光分插复用功能的全新光层调度技术，可有效提升大颗粒业务的交换效率。相比传统ROADM技术，OXC通过架构创新，采用类似于电层支、线路分离的方式，将本地光层业务接入侧模块与线路侧模块分离，实现交叉能力从单模块能力演进到整体架构能力，极大简化了扩维难度，使得光交叉能力向更高维度演进，OXC维度间互联方式由光纤跳线直连优化为光背板互联，无需人工连接，做到即插即用。全光OXC系统演进架构如图2所示，目前的OXC主要是20维与32维，随带宽与光方向增长，核心节点需要更高纬度的OXC，从32维向64维演进；同时要实现OXC 端到端的部署，在城域汇聚与接入节点，需要更低纬度的OXC，需要支持9维与4维的OXC。图2：全光OXC系统演进架构当前运营商的光传输网络已经广泛部署了单波100G系统，部分省际、省内干线和城域DCI网络部署了单载波200G系统或双载波200G系统，400G也已经具备规模商用能力。实现高速线路主要技术有高波特率、多相位调制、多PAGE060电信新技术New Telecom Technologies子载波三个方面：根据香农理论，提高调制阶数的方法，能提升线路速率，但传输距离会大幅下降。需要通过提升信号波特率的方式，实现400G/800G高速线路的长距传输能力。综合考虑传输性能、成本和产业发展，400G干线网络和城域网建议至多应用两种码型调制格式：一种是城域中短距，当前已收敛至16QAM75GHZ，且有部分商用系统，可以有效满足城域和DCI等应用场景。另一种是干线传输，建议将目前存在的多种调制方式收敛至PCS-16QAM100GHZ和PM-QPSK150GHZ两种制式，根据传输距离和成本进行综合分析，以满足算力互联网的长途传输和“东数西算”等算力调度场景。根据目前光频谱范围扩展分析，C+L波段是未来的选择路线。当前需综合考虑频谱扩展对WDM传输系统端到端产业链及未来应用的影响，合理规划扩展方式；产业链应尽可能归一化，避免分散。结合IP网络、数据中心出口及传输网络内互联接口需求，适时引入400G客户侧接口。其中，双速率光模块（同时支持400GE和400G FlexO）是异厂商跨系统对接的关键，OTN客户侧互联是运营骨干网跨系统转接的不二选择，400Gbit/sWDM系统需要成熟的400G FlexO接口2。3.2 OSU技术传统OTN技术基于时隙实现业务硬隔离，天然就支持切片，但切片颗粒度较大，主要用于承载大于1Gbit/s速率业务。随着SDH（MSTP）设备的逐步退网，运营商范畴内，OTN即将全面取代SDH网络，实现对5G、专线、DCI和视频等业务的综合承载。现有的分组增强型OTN技术虽然具备高品质的优势，但是为了支持分组和小颗粒业务，采用了分组、VC、ODU多平面叠加的方式实现，存在技术复杂、运维管理复杂、实现成本高等问题。业界主要通信设备厂商、运营商和研究机构，提出了以光业务单元（OSU,Optical Service Unit）为核心的、面向城域优化的光传送网新型OTN技术体系，支持无损带宽灵活调整，可进一步提升运力网传送和承载效率。OSU技术是将现有OTN体系中的OPUk净荷区域划分为多个净荷块（PB，Payload Block），定义PB基准速率为2.6Mbps，1个PB对应1个支路时隙。当映射复用多路OSUflex到OPUk/flex净荷时，为了标识OSUflex帧和支路的对应情况，需要基于每路OSUflex增加TPN（支路端口号，12bit），以标识每路OSUflex和支路的对应关系。TPN需要在服务层内保证标识唯一，确保接收端能够正确区分支路端口号，相同TPN的PB对应1个OSUflex管道。TPN的作用类似于OTN的MSI功能。OSU TPN长度为12bit，单级映射理论上每个OPUk管道中支持约4k个OSU连接（212=4096），但目前芯片需要综合考虑实现复杂度和支持OSU链接数量，当前设备厂商支持的单个OPUk管道连接数为1k2k条。以单级映射为例，单波100G可以提供1000条业务连接，单根光纤可实现12万个硬切片（120波1000=12万），与传统OTN相比（80波80=0.64万），业务连接数可以提升18.75倍，在支持更小颗粒业务接入的同时，也能支撑垂直行业的更多创新应用。在算网时代，OSU封装、映射业务时可以通过部署OSU动态协议来提升业务感知能力和调度能力，根据业务地址映射OSU管道，解决传统业务VLAN冲突和规划复杂的问题，主要场景化应用包括：（1）末梢节点可实现一点接入、敏捷入算功能，增删分支或云池节点，只在本端改动，远端不感知，其他节点不再受VLAN规划影响。（2）算力迁移，用户侧自动接入新算力。当算力节点过载引发迁移的时候，业务目的地自动更改为备份算力云池IP，业务自动映射至OSU新管道。3.3 OTN P2MP技术随着OTN下沉至综合业务接入点，边端联接能够提供差异化产品和服务能力。如图3所示，家宽和商务快线通过传统PON方式接入OLT，高端组网和入云专线通过末端增加OTN-A设备实现端到端的品质全光网联接。中端组网/入云专线（商务楼宇、智慧社区）建议采用OTN P2MP技术实现，通过OLT实现泛在接入，OLT内置P2MP支路板联接末端CPE，配置超级上行板卡接入政企OTN，将OTN的高品质和PON的广覆盖这两大优势进行完美融合，实现商务楼宇和园区内企业品质专线的快速开通。P2MP具体实现方式，首先是接入段带宽保障，上行通过类SDH的TDMA（时分复用）的方式传输数据，给每个CPE分配固定时隙；下行通过校验配置业务带宽，不超过线路口物理带宽，确保业务不拥塞。OLT切片进行端口资源独享，客户侧与家宽业务硬隔离，确保业务互不干扰，线路侧资源切片，配置双上行OTN接口，能够保障50ms保护倒换时间，有更高的可靠性。OLT上的P2MP板卡通过1:16的分光可以连接常规的ONU和CPE（政企业务），在OLT上行板上分离，各自连接城域网和政企OTN网络。常规的ONU占用波长1490nm/1310nm,既包含业务信息也包含管理信息。P2MP方案中政企CPE的业务波长另外规划出上下行波长，分业务波长和管理波长，业务波长规划为1577/1270nm，管理波长为1490nm/1310nm，OLT需每5s探测有无ONT上线，业务波长和管理波长隔离，管理波长独立开窗测量，实现接入段上行时延抖动150us3。PAGE061电信新技术New Telecom Technologies图3：边端联接的差异化解决方案3.4 ROOT技术RDMA（远距离无损传输）采用Infiniband技术或者原生RoCE技术，单链路带宽不低于100Gbps。Infiniband交换机的时延可达到几十ns级，满足单个算力中心内部计算集群的数据访问需求，提升数字政府的算力资源使用效率。InfiniBand采用统一互联结构，它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。ROOT(RDMA OVER OTN)解决方案构想是利用OTN技术来打造跨地域协同计算池以及存储池，通过打通后端DCN网络，实现内存-内存，硬盘-硬盘数据的高效直达，打造算力一体化。如图4所示，当前有两个技术发展领域，一是光算协同，即内存-内存，通过OTN直连实现高效热数据流转，通过RDMA与网络的协同来解决长距传输；二是光存协同，即SSD-SSD直通，通过探索硬盘直通协议，结合网络参数状态，来实现数据的高效搬运。图4：ROOT解决方案构想4.全光算力底座应用案例4.1 全光算力底座架构实践新时期全光算力底座架构主要特征是：（1）骨干网基于OXC和集群技术，实现大容量高速互联和灵活调度，由当前单波100G/200G向单波400G/800G演进，满足大算力节点联接需求。（2）城域层面引入OSU切片技术，满足业务灵活入算能力，实现弹性带宽运力应对算力洪峰。（3）光算力锚点呈现多元化和差异化融合趋势，通过OLT和OTN组合为光算力锚点，面向边端联接提供差异化接入方式。（4）持续优化确定性体验功能和网络可视，基于带宽、时延、距离、跳数等综合权重打造直观可视的运力地图，精细化管控，实现算网高效调度。某运营商以面向算力时代的光传输网络关键技术为基础内核，如图5所示，通过部署“大带宽波长（200G/400G）OXC调度”和“OSU业务灵活切片”，全面构建全光算力底座架构，持续推动PeOTN网络覆盖，面向算网融合，打造确定性的全光算力网络，2023年实现省内所有地市的PeOTN网络与云池打通（行业云、骨干云池省内节点）4。图5：某运营商全光算力底座架构实践4.2 超算互联网案例实践基于某运营商全光算力底座架构，建设A、B两地超算中心之间的400G OTN超高速通道，如图6所示。实现两地超算中心之间可以实现高通量数据传输，并以此作为计算资源协同的保障。业务开通分为两个场景，不同场景下的功能均具备：场景1：400G OCH在两边超算之间直接通过光层穿通（标记为绿色），场景2：400G OCH在省干节点通过业务板卡对接（标记为蓝色）。针对潮汐算力需求，按照任务式数据搬运功能项进行设计，具体见表1。图6：某运营商全光超算互联网实践PAGE062电信新技术New Telecom Technologies表1：任务式数据搬迁功能项5.结束语打造面向算网融合的全光算力底座不可一蹴而就，需求的变化，架构的演进，技术的迭代，将共同驱动全光算网底座向开放、智能、集约化发展。算力互联网（运力网）需要满足算力调度需求，算力配给网需要满足多样化算力接入需求，光传输网需要适配新型算力网络进行技术挖掘，在“高速泛在”和“弹性协同”两个方向不断演进，包括单波400G、OXC、OSU、OTN P2MP等各项关键技术将在现有技术基础上不断演进，业界也将针对诸如ROOT等算网融合技术进行不断探索，从而夯实全光算力底座，助力各项算力场景应用，助推经济社会高质量发展。分类功能项任务式数据搬运基于预约的任务式搬运：（FAST数据分析领域）大文件定期传输+管道预约建立和拆除+长距IB技术/原生IB技术/原生RoCE技术/原生以太技术算调网：高通量计算场景下（计算材料领域）的小文件批量传输，网络控制器提供北向接口，超算平台开发算法调度网络资源+长距IB技术/原生IB技术/原生RoCE技术/原生以太技术作者简介郑维通，学士学位，就职于中国联通山东省分公司，高级工程师，主要研究方向为承载网建设与技术创新。牛文林，学士学位，就职于中国联通山东省分公司，高级工程师，主要研究方向为传输网运维管理及传送网相关技术研究。陆源，工程硕士学位，就职于山东省邮电规划设计院有限公司，高级工程师，主要研究方向为光传输网络规划、设计及技术研究。张立明，学士学位，就职于山东省邮电规划设计院有限公司，工程师，主要研究方向为光传输网络规划、设计及技术研究。参考文献1 李壮志，吕文琳，陆源，等.面向算网融合的全光算力底座构建与实践J.信息通信技术，2022(02)19-26.2 陆源，白立武，张立明.面向大数据时代的超100G波分技术应用分析J.信息通信技术，2020(06)74-80.3 李允博.光传送网（OTN）技术的原理与测试M.北京：人民邮电出版社，2013.4 李壮志，杜福之，田军，等.面向云网融合的IPRAN+OTN+云SDN管控一体化策略J.电信技术，2019(12)：39-45.