面向时隙光交换网络的纳秒级时间同步技术.pdf

2024/02/DTPT收稿日期：2023-12-151 概述随着互联网的普及和通信服务的快速发展，流媒体、云计算等相关应用业务对数据流量的需求增加，数据中心组网的规模不断扩大，高密度服务器之间的通信对带宽提出更高的要求，而传统的电交换架构受限于带宽和能耗，逐渐难以满足通信网络对传输容量及速率的要求。由于对光交换技术的研究和需求逐渐增加，目前已有研究将光交换引入数据中心架构，与全电交换相比，全光交换在带宽、时延等方面有更好的性能。为解决大规模数据中心的问题，满足它对高带宽、高效数据传输的需求，同时兼顾通信系统的扩展成本，通常采用光电混合架构，兼顾光交换和电交换的优势，可以灵活地选择传输方式。在数据中心组网中引入光交换技术，利用时分复用（Time DivisionMultiplexing，TDM）或波分复用（Wavelength DivisionMultiplexing，WDM）技术提升带宽、降低时延。时隙交换的前提是精确的时间同步，确保各个机架的时隙对面向时隙光交换网络的纳秒级时间同步技术Nanosecond Time Synchronization Technology forTime-slot Optical Switching Networks关键词：时间同步；光电混合；数据中心网络doi：10.12045/j.issn.1007-3043.2024.02.004文章编号：1007-3043（2024）02-0022-05中图分类号：TN913文献标识码：A开放科学（资源服务）标识码（OSID）：摘要：随着互联网和通信服务的飞速发展，数据中心组网架构的研究重心由电交换转向光交换。由于光交换网络进行时隙交换之前需要同步时钟信号，时间同步的精度和稳定性是提升光网络性能的重要参数。提出基于FPGA实现的时间同步方案，与现有方案相比，该方案在降低了同步复杂性的同时具有更高的精度和稳定性。测试结果表明时间同步后的偏移量不超过2.56 ns，在不同光纤长度、运行时长和环境温度下的时钟抖动为皮秒级。Abstract：With the rapid development of Internet and communication services，the research focus of data center network architecturehas shifted from electrical switching to optical switching.Due to the need to synchronize clock signals before time slot switch-ing in optical switching networks，the accuracy and stability of time synchronization are important parameters for improving theperformance of optical networks.A time synchronization scheme based on FPGA is proposed.Compared with the existingschemes，it has higher precision and stability while reducing the complexity of synchronization.Test results show that the off-set after time synchronization does not exceed 2.56 ns，and the clock jitter at different fiber lengths，operating hours，and am-bient temperatures is in the picosecond range.Keywords：Time synchronization；Optronic hybrid；Data center network丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国（北京邮电大学，北京 100876）Ding Rui，Dang Daohang，Guo Yuanzhi，Xue Xuwei，Guo Bingli，Huang Shanguo（Beijing University of Posts and Telecommunications，Beijing 100876，China）丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国面向时隙光交换网络的纳秒级时间同步技术本期专题Monthly Topic引用格式：丁蕊，党导航，郭元之，等.面向时隙光交换网络的纳秒级时间同步技术 J.邮电设计技术，2024（2）：22-26.22邮电设计技术/2024/02齐，同步的精度越高，划分的时隙越短，控制器在分配带宽时越灵活，可根据实际流量的需求实现动态分配，提升资源利用率。在已有的光网络架构中，通常使用基于网络传输时间戳的同步协议，其精度在毫秒级或微秒级，或者采用精度能达到纳秒级甚至亚纳秒级的高精度同步方案，但是该方案依赖于特定硬件对相关协议的支持。目前能长时间保持稳定的时间同步模块的最高精度为10 ns。微软提出一种快速光交换架构Sirius，并根据自身的调度特点设计了一种新的同步协议，能达到百皮秒级的时间同步，但是需要在每个时隙进行同步，挑选质量最佳的时钟作为主时钟。TDM技术在时域上复用多路信号，可在同一个信道上传输多路数据。为了保证分割时隙的准确性，需要提前对各端点进行时间同步。本文提出一种面向时隙光交换网络的纳秒级时间同步技术，基于FPGA（Field Programmable Gate Array）用硬件描述语言实现IEEE 1588v2协议。由于机架的主从端都通过 FPGA实现该协议的同步逻辑，所以不需要额外的硬件支持就可以实现高精度的时间同步，只需要在数据链路层将时间同步报文插入数据包并通过以太网封装传输即可。同时，与需要考虑网络抖动而在每个时隙挑选最佳时钟的方案相比，硬件开发板的晶振时钟源质量较好，能长时间保持稳定，不需要频繁启动同步进程。对交换模型进行了实验测试，实验结果证明了基于FPGA开发的时间同步模块可以实现纳秒级同步，单个同步周期的主从时钟偏移量不超过2.56 ns，即一个时钟周期，且能保持长时间的稳定，同步后的时钟抖动不超过20 ps。2 架构实现思路2.1 系统结构AWGR（Arrayed Waveguide Grating Router）作为一种无源光波导元件，可以实现多波长的路由和分配。为解决数据中心规模扩大带来的带宽、时延、能耗等问题，引入光交换器件AWGR和可调谐激光器来增加带宽并降低能耗，基于FPGA的同步与调度可以满足高速数据处理和不同规模网络处理的需求。通过AWGR的多波长输入输出和周期性路由特性，提升带宽利用率。各机架完成同步是基于FPGA的调度模块负责集中调度的前提，因此采用IEEE 1588v2协议实现纳秒级硬件同步。每个机架包含架顶（Top of Rack，ToR）交换机，负责机架内服务器之间的通信。光交换具有高带宽、低时延的特点，而电交换具有更好的控制性能，为了更好地分配和利用带宽，通过分流模块将大象流和老鼠流分别转发到光路和电路，减少网络堵塞，降低延迟和丢包率，提升资源利用率。整体系统架构如图1所示。2.2 时间同步模块在光网络架构中，每个ToR都包含时间同步模块，在系统初始化完成后，调度器作为整体控制器和时间同步的主端，并以其时钟为基准同步各从端ToR的时钟。基于FPGA实现的控制器负责同步、流控等功能，配置并调用Xilinx官方IP核10G/25G High Speed Ethernet Subsystem。使用AXI4_Lite协议控制FPGA计数器的初始化和修改，时间同步的主从端分别通过FPGA实现，用户端同步模块的数据通过AXI4_Stream发送到IP核，IP核封装数据并通过光口发送。IP核的以太网接口包括PCS/PMA和MAC 2个部分，用户数据通过axi协议传入10G MAC核并进行以太网协议的封装，MAC 核和 PHY 核之间通过 xgmii 接口相连，最后10G PHY将数据进行编/译码并转换为串行通过GTY输出，SFP经过光电转换将数据通过光纤发送到其他设备。具体的1588v2协议通过硬件编程语言实现，采用双跳模式，即将事件报文和时间戳分开发送。先由主端向从端发送Sync报文并记录时间戳t1，表明同步开图1系统架构SchedulerToR3ToR4ToR1Rack3Rack4AWGRElectrical SwitchRack1Rack2H serversToR2丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国面向时隙光交换网络的纳秒级时间同步技术本期专题Monthly Topic232024/02/DTPT始，从端接收并记录时间戳t2，t1将跟随Follow_Up报文发送到从端记录。从端发送Delay_Req报文并记录时间戳t3，主端接收报文后，将接收时刻的时间戳t4随Delay_Resp报文发送到从端。由此，t1与t2的差值就是链路延迟与时钟偏移之和，t3与t4的差值为链路延迟与时钟偏移之差，通过差值相加减并除以倍数即可分别计算出链路的延迟与时钟偏移。由FPGA实现的同步模块结构如图2所示。选定控制器做Master，以该时钟为标准，向从端发送同步信号并交互时间戳，在一个同步周期结束后，从端根据接收的时间戳计算时延和偏移，修改本地计数器，同步Slaver时钟。3 实验设置用实验测试平台搭建44的交换模型，使用4个FPGA模拟ToR14，另1个FPGA作为集中控制器负责整体的调度。每个 ToR 都有 4 个 25 Gbit/s 的传输通道，其中2个连接到电交换机，一个端口通过可调谐光模块走光纤链路与AWGR相连，SFP28收发器提供25Gbit/s的传输带宽。选定控制器为主端，ToR14为从端，以控制器上的时钟为主时钟，通过时间戳的交互计算时钟偏移量，同步其他4个ToR的时钟。在正式传输数据前，同步各架顶交换机的时钟，并通过示波器测量主从时钟的偏差。同步完成后进行数据传输，使用以太网测试仪发包并监测流量状态。4 实验结果主从端FPGA内部均有一个基于390.625 MHz时钟的计数器，导出一个在计数值变化时会翻转的电平信号，累加输出一个1 ms翻转的方波，通过SMA-BNC线连接到示波器测量，采样约20 000个数据点并计算RMS（Root Mean Square）值。示波器的测量结果如图3所示，其中绿色波形为主时钟，黄色波形为从时钟，采样结果显示时钟偏移为2.026 9 ns。红色波形为几万个数据点的分布图，峰值范围从1.983 4 ns到2.068 5ns，时钟抖动为10.992 ps。根据示波器的结果，以RMS值作为有效数据点绘图，测量不同运行时长下的时钟偏移，结果如图 4所示，偏移量维持在一个稳定值。由于时间同步模块可以在一个时钟周期内完成同步，采用的时钟频率为390.625 MHz，因此时钟偏移量不超过2.56 ns。为考察同步后时钟的稳定性，分别测量不同光纤长度、运行时长和环境温度下的同步结果，数据点的采样方式与图4相同。如图5所示，分别测量了1 m、2 m、15 m、512 m和1 013 m长度的光纤对时钟偏移的影响，差值保持在皮秒级，虽然在1 m到15 m光纤长度下时钟偏移由396ps增加到了800 ps，但512 m和1 013 m长度下的同步结果基本都在800 ps左右。由图6可看出，不同光纤长度下，时钟抖动在10.086 ps到10.630 ps之间，稳定性较好。实验结果表明光纤长度对时间同步的结果没有显著影响，不影响纳秒级光交换系统的性能。使用 1 个 FPGA 板作为主端控制器，剩下 4 个FPGA作为从端ToR14，对多节点同步的情况下各点的同步效果进行测试，结果如图7所示。从图7可以看出，时钟抖动基本保持在一个稳定值，最小值为10.689 ps，最大值为11.155 ps。对不同环境温度下时钟的稳定性进行测试，将代表主从端的FPGA放在恒温箱中运行，以5为一个梯度单位进行测量。实验结果表明在2050 的温度下，时钟抖动均稳定在13ps左右（见图8）。5 总结本文提出了纳秒级时间同步光电混合架构，该架图21588v2同步模块结构systemtimer-in时钟&控制信号计数器1588状态机TX状态机MRX状态机时钟&控制信号计数器1588状态机TX状态机RX状态机时钟修正clktx-axisrx-axistxp、txnrxp、rxnrx-axissystemtimer-in10GMAC+PCS/PMA1588 IP10GMAC+PCS/PMA1588 IPSclk丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国面向时隙光交换网络的纳秒级时间同步技术本期专题Monthly Topic24邮电设计技术/2024/02构实现了基于硬件的纳秒级时间同步，保证基于时隙的数据传输，减少了集中调度各架顶交换机所造成的时延。最终结果表明一个同步周期内主从时钟的偏移为纳秒级，时钟偏移量不超过 2.56 ns 且稳定性较好，时钟抖动为皮秒级，满足同步需求。参考文献：1 阴亚芳，刘传明，张斌.基于FPGA的TDM over IP的设计 J.西安邮电大学学报，2014，19（6）：66-70.2 罗瑞琦.基于时分复用的FPGA互联网络优化 D.北京：中国科学院大学，2020.图5光纤长度对时钟偏移的影响光纤长度/m时钟偏移/ps90008007006005004002004006008001 0001 3962 55015 800512 8111 013 820图4运行时长对时钟偏移的影响运行时长/min2.52.01.51.03.0时钟偏移/ns304050607080图3示波器测量波形丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国面向时隙光交换网络的纳秒级时间同步技术本期专题Monthly Topic252024/02/DTPT3 TAUBENBLATT M，MANIOTIS P，TANTAWI A.Optics enabled networks and architectures for data center cost and power efficiency Invited J.Journal of Optical Communications and Networking，2022，14（1）：A41-A49.4 FARRINGTON N，PORTER G，RADHAKRISHNAN S，et al.Helios：a hybrid electrical/optical switch architecture for modular data centersJ.ACM SIGCOMM Computer Communication Review，2010，40（4）：339-350.5WANG G H，ANDERSEN D G，KAMINSKY M，et al.c-Through：part-time optics in data centers J.ACM SIGCOMM Computer Communication Review，2010，40（4）：327-338.6 PORTER G，STRONG R，FARRINGTON N，et al.Integrating microsecond circuit switching into the data centerJ.ACM SIGCOMMComputer Communication Review，2013，43（4）：447-458.7 GHOBADI M，MAHAJAN R，PHANISHAYEE A，et al.ProjecToR：agile reconfigurable data center interconnect C/Proceedings of the2016 ACM SIGCOMM Conference.Florianopolis：Association forComputing Machinery，2016：216-229.8 MELLETTE W M，MCGUINNESS R，ROY A，et al.RotorNet：a scalable，low-complexity，optical datacenter network C/Proceedings ofthe Conference of the ACM Special Interest Group on Data Communication.Los Angeles：Association for Computing Machinery，2017：267-280.9 SINGLA A，SINGH A，RAMACHANDRAN K，et al.Proteus：a topology malleable data center network C/Proceedings of the 9th ACMSIGCOMM Workshop on Hot Topics in Networks.Monterey：Association for Computing Machinery，2010：1-6.10 CHEN K，SINGLA A，SINGH A，et al.OSA：an optical switching architecture for data center networks with unprecedented flexibility J.IEEE/ACM Transactions on Networking，2014，22（2）：498-511.11LU Y F，GU H X，YU X S，et al.Lotus：a new topology for large-scaledistributed machine learningJ.ACM Journal on Emerging Technologies in Computing Systems，2020，17（1）：1-21.12 LE D D，BARRY L P，KILPER D C，et al.AgileDCN：an agile reconfigurable optical data center network architectureJ.Journal ofLightwave Technology，2020，38（18）：4922-4934.13 IMRAN M，COLLIER M，LANDAIS P，et al.Software-defined optical burst switching for HPC and cloud computing data centersJ.Journal of Optical Communications and Networking，2016，8（8）：610-620.作者简介：丁蕊，北京邮电大学硕士在读，主要从事数据中心网络架构下的时间同步技术研究工作；党导航，北京邮电大学硕士在读，主要从事FPGA和Linux相关的研究工作；郭元之，北京邮电大学博士在读，主要从事分布式机器学习和光交换网络的研究工作；薛旭伟，教授，博士生导师，主要研究方向为面向数据中心和高性能计算的超快全光交换技术、可调谐硅光器件设计、高精度时频同步技术等；郭秉礼，副教授，硕士生导师，主要从事数据中心与高性能计算中的光互联网络技术的相关研究工作；黄善国，教授，博士生导师，主要从事多维光交换与光网络的研究工作。温度/时钟抖动/ps20253035405013.713.613.513.413.313.213.145图8温度对时钟抖动的影响图6光纤长度对时钟抖动的影响图7各节点的时钟抖动情况运行时长/min时钟抖动/ps30405060708011.311.211.111.010.910.810.7ToR1ToR4ToR3ToR2光纤长度/m时钟抖动/ps02004006008001 00010.710.510.410.310.210.110.010.6丁蕊，党导航，郭元之，薛旭伟，郭秉礼，黄善国面向时隙光交换网络的纳秒级时间同步技术本期专题Monthly Topic26