测量互联网环境的单向延迟及不对称性研究.pdf

PAGE056网络可靠性Network ReliabilityN T P 协议(N e t w o r k T ime P r o t o c o l)的出现就是为了解决网络内设备系统时钟的同步问题。不幸的是，在通常的互联网环境中，数据传输的延迟不是恒定的，即使相同的路由，从N T P 服务器到N T P 客户端延迟与从N T P 客户端到N T P 服务器延迟，即单向延迟(O WD)不总是相同的。这对时间同步的准确性有很大的影响。目前广泛应用的P T P 也同样存在这个问题。因此，为了提高时间的准确性，需要通过测量，提供有关实际传输O WD 的时间分布和O WD 的不对称性的研究。The Network Time Protocol(NTP)is developed to solve the problem of system clock synchronization on Network devices.Unfortunately,in the usual Internet environment,the delay of data transmission is not constant,even though the same route,the delay from NTP server to NTP client is not always the same as the delay from NTP client to NTP server,i.e.,one-way delay(OWD).This has a big impact on the accuracy of time synchronization.PTP,which is widely used today,also has this problem.Therefore,in order to improve the accuracy of time,it is necessary to provide a study of the OWD time distribution and OWD asymmetry of the actual transmission through measurements.网络时间协议 单向延迟 硬件时间戳 单向延迟不对称性NTP(Network Time Protocol);OWD(One-Way Delay);HTS(Hardware Time-Stamper);OWD asymmetryDoi:10.3969/j.issn.1673-5137.2024.01.007摘 要 Abstract关键词 Key Words前言今天的互联网充斥着一些广域网的应用：实时应用，例如IP电话和组播流应用1；执行位置感知的重定向和服务器选择的数据传递2，并服务，例如邻近感知的DHT3和定位系统4。在所有这些应用中，一个共同的思路是要求执行邻近性测量。例如，在多播应用中，邻近性被用来选择一个合适树中的父/子节点；在定位系统中，地标邻近性用于定位。对于某些应用，感兴趣的邻近性可以测量两个终端主机(如A和B)之间的往返时间(RTT)，定义为前单向(A-B)延迟和后单向(B-A)延迟之和；而两者之差定义为单向延迟(OWD)的不对称。RTT已被广泛用作对等/服务器选择邻近性的度量。然而，许多应用程序涉及最近的对等/服务器选择，如流、基于树的多播服务和其他基于UDP和TCP的服务，知道单向延迟(OWD)将会比知道RTT有更多的好处。事实上，RTT经常被许多协议和应用作为推断前向延迟和后向延迟的近似解，这些协议和应用假定前向延迟和后向延迟等于RTT的一半。例如，远程主机之间通常只涉及一个或几个请求和应答消息，如一个DNS查找，或者一个小的HTTP文档下载，则RTT是一个不错的选择，能指示交互的完成时间。然而，对于其他应用，从客户端到对等/服务器或沿着其他方向，直接关联的邻近性是单向延迟(OWD)，而不是RTT。OWD的不对称可能会损害这些应用。例如，在多播流应用中，因为在覆盖组播树中，数据总是从父节点到子节点，优化从父节点到子节点的OWD更加有益。另外一个例子，ACK/NAK数据系统，如传输控制协议(TCP)估算从发送端到接收端使用单向路由的可用带宽近似于使用RTT。如果ACK报文所使用的后向路径存在一个比前向路径大得多的延迟，TCP最终会使用比它该用的更多网络资源5。其他依赖于OWD的应用包括在线在多人游戏中，OWD的不对称可能会产生一个偏斜，再如视频会议应用，互联网远距离预报等。然而，在实践中，测量两个终端主机之间的OWD，面临两个主要障碍。首先，它要求两台主机之间严格的时间同步。第二，它需要访问两个终端主机，因为操作系统中没有测量和报告OWD的标准守护进程(standard daemon)。因此，标准实践在几乎所有依赖于邻近信息的应用程序是测量测量互联网环境的单向延迟及不对称性研究 吴承治（电信科学技术第五研究所有限公司 四川 成都 610062）PAGE057网络可靠性Network ReliabilityRTT，并假设OWD是RTT的一半来运行，如NTP。NTP主要应用于网络中所有设备时钟需要保持一致的场合，比如：（1）网络管理：对从不同路由器采集来的日志信息、调试信息进行分析时，需要以时间作为参照依据。（2）计费系统：要求所有设备的时钟保持一致。（3）多个系统协同处理同一个复杂事件：为保证正确的执行顺序，多个系统必须参考同一时钟。（4）备份服务器和客户机之间进行增量备份：要求备份服务器和所有客户机之间的时钟同步。（5）系统时间：某些应用程序需要知道用户登录系统的时间以及文件修改的时间。1.N T P 概述1.1 NTP基本原理1.1.1 设定参数及同步方式如图1所示，NTP客户端和NTP服务器相连，它们都有自己独立的系统时钟，现在通过NTP实现系统时钟自动同步。设定参数及同步方式如下：（1）在NTP客户端和NTP服务器的系统时钟同步之前，NTP客户端的时钟设定为Ta，NTP服务器的时钟设定为Tb。（2）NTP服务器作为NTP时间服务器，NTP客户端的时钟要与NTP服务器的时钟进行同步。（3）描述的原理是在NTP客户端和NTP服务器的系统时钟完全准确的场景下进行的。图1：NTP客户端和NTP服务器1.1.2 系统时钟的同步流程（1）NTP客户端在T1时刻发送一个NTP请求报文给NTP服务器，该请求报文携带离开NTP客户端时的时间戳T1。（2）NTP请求报文到达NTP服务器，此时NTP服务器的时刻为T2。NTP服务器处理之后，于T3时刻发出NTP应答报文。该应答报文中携带离开NTP客户端时的时间戳T1、到达NTP服务器时的时间戳T2、离开NTP服务器时的时间戳T3。（3）NTP客户端在T4时刻接收到该应答报文。1.1.3 NTP客户端与NTP服务器之间的时间差通过上面的NTP报文交互，NTP客户端获得4个时间参数，分别为T1、T2、T3、T4。由于NTP客户端和NTP服务器的时钟完全准确，并假设NTP客户端和NTP服务器间，前后向的单向延迟(OWD)相同，均为Delay。我们可以通过以下公式计算出NTP客户端与NTP服务器之间的时差Offset，也就是NTP客户端需要调整的时间。（1）计算NTP报文从NTP客户端前后向传输到NTP服务器所需要的时间延迟Delay。Delay(T2-T1)(T4-T3)/2 （1）（2）计算NTP客户端与NTP服务器之间的时间差Offset：T2-T1DelayOffset （2）T4-T3DelayOffset （3）Offset(T2-T1)-(T4-T3)/2 （4）NTP客户端根据计算得到Offset来调整自己的时钟，实现与NTP服务器的时钟同步。不幸的是，在通常的互联网环境中，数据传输的延迟不是恒定的，即使相同的路由，从NTP服务器到NTP客户端的延迟与从NTP客户端到NTP服务器的延迟，即单向延迟(OWD)不总是相同的。OWD的不对称性，破坏了上述假设，这对互联网环境中的时间同步准确性有很大的影响。目前广泛应用的PTP也同样存在这个问题。因此，为了提高时间的准确性，需要通过测量，提供有关实际传输OWD的时间分布和OWD的不对称性的信息，并进行研究分析。2.单向延迟测量我们开发了一种硬件时戳器(HTS)，在认定的数据包上，没有延迟地标记本地时间。适用于千兆以太网(GbE)连接，时间分辨率为4ns。通过在传输路径的两侧安装HTS，我们可以可以立即获得路径的延迟时间，精度在10ns以内。然而，两侧需要高稳定度的时钟。本文报告了使用HTS来测量各种网络特性。约2530km，依赖传输数据包大小的OWD测量结果。在这些测量中，在两侧使用了铯原子钟，利用GPS共视法测量时差。结果显示表明，HTS可以准确标记传输路径的时间而不中断系统6。2.1 单向延迟测量配置图2：实时单向时间延迟测量的系统框图图2显示了用于网络环境下，实时单向时间延迟测量的系统框图。测量系统包括，数据包发送/接收器放在一个互联网数据中心(IDC)及包应答器(packet responder)放在距离Tokyo中心约30公里的NICT。在这些测量中，我们使用了Tokyo中心的两个IDC，一个在Shinjuku，另一个在Ohtemachi。IDC和NICT通过互联网连接，这几乎适用于高于千兆以太网PAGE058网络可靠性Network Reliability(GbE)的连接。只有Shinjuku IDC有10兆以太网连接。包的发送/接收器和包应答器由一个基于Free-BSD操作系统的PC机组成。在PC机和网络之间安装一个HTS。当数据包通过时，HTS会自动在数据包上标记一个UNIX时间。在这里，时间戳是由来自标准时钟的信号生成的。在这些测量时，在NICT一侧的标准时钟是UTC(NICT)，在另一侧UTC是铯原子钟。利用GPS共视法对两种时间尺度进行比较，并记录时差。在整个测量过程中，时差小于100ns，利用当时的时差对测量结果进行校正。HTS的时间分辨率为4ns，互联网两侧均插入HTS。因此，测量单向延迟的总时间分辨率为8ns。通常，一个数据包从具有HTS的一侧发送到另一侧，在互联网的两侧自动标记时间。这意味着在一个数据包上记录了两个时间戳，两个时间戳的差表示了时间延迟。只通过发送一个数据包，我们可以实时确定互联网的时间延迟。在实验测量中，从IDC(数据包发送器)发送一个数据包到NICT(包应答器)。包应答器立即将它返回IDC(数据包接收器)。因此，HTS在每个包上标记四次，从而提供了几个时间延迟的记录。利用这些结果，我们调查了在互联网环境中，时间延迟依赖的因素。2.2 测量结果2.2.1 单向延迟特性在互联网环境中，数据包通过各种网络设备传输，如路由/交换等等。这些设备的行为被单向延迟时间支配。通常，这种行为是基于存储和转发模式以及数据包的大小。因此，数据包的大小对单向延迟特性有很大的影响。首先，我们测量单向延迟对数据包大小的依赖性。在这个测量时，我们以1个字节(byte)的步长，发送从56byte到1426byte的数据包。通过重复这些循环1000次，我们总共得到1,371,000次测量。图3：单向延迟all data(Shinjuku IDC-NICT)图3显示了Shinjuku IDC和NICT之间，所有单向延迟测量的数据。在互联网环境下，数据流量通常非常拥挤，所以延迟时间的结果是广泛分布。为了减少这种分散性，我们将包大小相同的五个数据分组，然后选择最小的，也就是最快的可用延迟。图4显示了这些分组数据的结果。图4：单向延迟fastest of 5(Shinjuku IDC-NICT)为了研究图3和图4中结果依赖包的大小，我们使用线性回归方法分析了相关因素。IDCNICT和NICTIDC两组结果估算的依赖性为188192ns/bit5.225.32Mbps，然而，两图之间的标准差有很大的差异。在图3中，标准差约为100s，在图4中，标准差约为18s。其它天也得到了类似的结果。图5显示了Ohte-machi IDC和NICT之间单向延迟测量的所有数据。在这些测量中，我们重复数据包步长200次。Ohte-machi IDC和NICT之间有10 GbE 连接，并且没有拥挤的数据流量。此估算结果IDCNICT和NICTIDC均有依赖性为5.3ns/bit189Mbps，标准差约为3s。图5：单向延迟all data(Ohte-machi IDC-NICT)这些结果表明，单向延迟大小对数据包大小的依赖是线性的。即使在拥挤的互联网环境中，分组数据和选择的方法也是有效的。2.2.2 其它特性（1）HTS表现出良好时间分辨率。然后，测量了不同网络条件下的单向时延。图6显示了从Shinjuku IDC到NICT的单向延迟测量结果。灰色的数据的结果与图3所示相同。当测量黑色数据时，我们从IDC-NICT连接中删除1个路由交换机。因此，黑色数据表示与灰色数据相比，性能会更好。这表明OWD的变化与相应的路径变化之间存在的相关性。图6：单向延迟all data(Shinjuku IDCNICT)（2）对于Ohte-machi IDC，我们没有设置GPS共视系统，所以用在Ohte-machi IDC的铯原子钟与UTC(NICT)不同PAGE059网络可靠性Network Reliability步(准同步)，时间差大致为1.5s。这些时钟时间上的差异表示上下链路之间时间延迟的时差加倍。图7显示了在Ohte-machi IDC-NICT之间，上行链路和下行链路的时间延迟之间的时差。总共测量了5天。图7：准同步时差时差测量的结果为理想的正态分布，如图8所示。从这些测量得到，时差约为3.4s,标准差SD=0.35s。然后我们估算时钟时差为1.7s。图8：准同步时差直方图3.单向延迟不对称性测量我们比较和对比了在互联网上，广泛使用选择路由的单向延迟和相应的RTT。首先测量了互联网上，前向和后向OWD不对称的范围和严重程度。然后，我们试图通过将OWD不对称与路由不对称关联起来，以隔离OWD不对称的原因。最后，我们研究了动态延迟不对称的问题。3.1 方法3.1.1 工具、测试床和踪迹收集我们使用Owping7来测量一对源-目的地之间的OWD。Owping是单向主动测量协议(OWAMP)8的实现。Owping的主要工作流程，如图9所示：图9：Owping的主要工作流程Owping需要访问两个延迟被测量的终端主机。目的地节点运行单向Ping server，Owampd(owamp daemon)监听进行单向Ping测量的客户端请求。源节点启动使用Owping(client)测量。对于每一个测量，源和目的地交换10个探测报文。Owping要求运行测量的终端主机之间进行时间同步。互联网主机之间的OWD范围从几ms到数百ms。即使是最小的时钟偏移也可能导致OWD测量的不准确。在报告任何时间测量之前，捕获时钟偏移（节点时钟与NTP时钟之间的差），Owping从系统上运行的NTP daemon获取本地节点当前时钟偏移。时钟偏移根据系统上报的时间进行调整。NTP daemon 还报告时钟的误差估计（置信值）。误差估计给出了NTP报告时间的置信范围（以毫秒为单位）。在发送数据包之前，源在包上标记它的当前时间（用时钟偏移调整）以及它相对于NTP的当前误差估计包。在接收到数据包后，目的地将数据包上的时间从其当前时间减去（使用数据包的内核时间戳获取，以最小化由于PlanetLab节点负载而导致的误差，然后用其时钟偏移进行校正）。它还记录了由于NTP导致的误差估计。单个探测包的总估计误差是将两端对应的估计误差相加得到的。对所有10个包，记录10个OWD的最小值、均值和最大值，同时用10个误差估计中的最大误差估计。为了测量一对节点之间的路由，我们使用工具Paris traceroute9。由于Owping需要访问两个延迟被测量的终端主机，我们使用PlanetLab10测试床进行测量研究。包含节点属于研究/教育网络（GREN）和商业网络（CN）。一个最近的研究11表明了在GREN中，两个主机之间路径的网络特性（记为G2G）与商业网络完全不同（记为C2C）。同样的研究还表明，如果路径的至少一端是在商业网络（G2C或C2G）中，与两端都在商业网络（C2C）时相比，则网络属性保持相似。因此，我们执行本研究将网络路径分成所有的GREN路径和商业路径（G2C+C2G+C2C）。我们选择了180个GREN节点和25个商业节点。我们从2007年4月12日开始收集了10天的踪迹。踪迹由背靠背的traceroute（路由跟踪）和OWD测量组成。一轮测量包括对集合中的每个其他节点进行traceroute和OWD测量，并每20分钟重复。收集的数据存储在一个中心节点上，用于解析和进一步处理。这一时期间，我们持续监控10000多条互联网路径。我们进行了超过500万条traceroute和相同数量的OWD在特定时期内的估计。通过Owping取最小10个读数报告。最小化了由于PlanetLab节点负载而引起的误差12。3.1.2 踪迹修剪PAGE060网络可靠性Network Reliability准确的单向ping测量很大程度上依赖于端节点的同步。当主机重新启动时，它的时钟不同步，因此它的测量是不可用的。但是，在启动之后，它联系一个NTP服务器，并被配置为校正它的时钟13。节点与NTP同步后，此调整将消耗节点一段时间。一般来说，PlanetLab节点的正常运行时间很大。然而，当一个节点死机时，我们将删除该节点的所有测量值。我们也排除误差估计较大的节点。图10：PlanetLab中205个节点偏移偏差和误差估计的CDF图10绘制了时钟偏移和PlanetLab节点最大估计误差的累积分布函数(CDF)。我们观察到PlanetLab节点没有从他们的NTP服务器偏移很多。60%的节点偏移不到2ms。我们观察到40%的节点，NTP估计最大的误差小于10ms。作为第一步，我们选择了10ms的误差估计阈值并通过选择消除偏离更多的节点来进行了修剪。在这之后，我们有82个研究/教育(G)节点和12个商业(C)节点。进一步，当计算任何比率使用绝对前向延迟和后向延迟，限制了误差估计的值。3.1.3 度量我们最终将互联网上的延迟不对称与其他不对称特性联系起来，例如网络路径。在本节中，我们将定义用于测量路径之间的路径不对称程度量化的度量。我们的度量需要充分捕获导致网络延迟的互联网路径的属性。由路径引入的包延迟取决于中间路由器和信息包所经过的自治系统(AS)。我们比较两个指标来描述这些特征属性AS级路径不对称和路由器级路径不对称。AS级路径不对称，指在AS中前向和后向路径之间的不相似性。我们使用AS级路径相似系数()来量化AS级路径不对称。对于每一个源-目的对，让前向路径中的AS集合(Pf)和后向路径集合(Pr)分别为A和B，并进行“与”和“或”操作。Pf,Pr相似系数为计算为：（5）路由器级的路径不对称，捕获了在多跳IP路径上的前向路径和后向路径间的不同。在前向和后向路径中来确定路由器级的不对称，我们不能在前向和后向的traceroutes中，简单地使用IP地址，因为许多路由器都有不同的接口，要处理向不同的方向流量。大多数这些接口都位于相同的/24前缀。中间路由器的分群IP地址获得相同的/24前缀组合为1个，会丢失路径的跳数信息。为了避免这些问题，我们使用以下方法方法：在每个路径中，我们采用IP地址/24前缀的中间路由器。如果在路径中存在多个接口属于相同/24前缀，我们用不同的方法计数。具体来说，我们连接了一个递增计数每个/24前缀的每一个副本所遇到的前缀。这对两个前向和后向路径都做了。我们用这个信息来构造前向路径集合A和后向路径集合B。通过这些A和B的定义，我们计算路由器级相似系数采用式（5）。3.2 延迟不对称3.2.1 单向与往返前向和后向的OWD相加得RTT，以一般的看法前向和后向延迟是相等的。本节研究了范围和GREN和商业路径间延迟不对称的严重程度。为此，我们观察OWD和RTT之间的相关性，如图11所示。图11：不同RTT出现时，作为RTT分数的前向OWD的CDF图11(a)显示了G2G中的路径相对于它们的延迟很大程度上是对称的(CDF保持在接近0.5表示对称)。另一方面，图11(b)表明在商业网络中不对称普遍存在。事实上，它的不对称大小(前向OWD与RTT的比值)值从低于0.4至0.6以上变化。图11(c)增加了11(b)，并显示了前向延迟的绝对值和非G2G路径的RTT。图11(c)显示了不对称的大小。例如，我们取RTT为150ms和前向延迟为60ms的点。这种情况下将对应40%的前向延迟比。后向路径延迟为90ms。这导致在前向和后向路径中出现30ms的延迟不对称。我们可见，延迟不对称在今天的互联网中确实存在，尤其是在商业网络。3.2.2 单向延迟的不对称现在我们深入地了解延迟值不对称的起源。直观地说，源-目的对之间的前向路径和后向路径为不同的情况，相应的属性也会发生变化。路径不对称这是互联网上普遍存在的一个众所周知的事实。许多以前的研究已经发现互联网路由中存在大量的不对称14。在本节中我们将学习路由路径不对称与延迟不对称之间是否存在关联，图12描述了路径不对称PAGE061网络可靠性Network Reliability与延迟不对称的比较。图12：路径不对称与延迟不对称的比较图12(a)对踪迹中找到的全部路由，绘制了AS级和路由器级相似系数的CDF。图12(a)结果表明：32%的路径具有AS 级相似系数小于0.6，而81%的路由路径具有路由器级不对称系数小于0.6。如图所示，路由器级的不对称比AS级的不对称更为普遍。因此，我们使用路由器级相似系数来描述路径不对称。为了找到延迟和路径不对称之间的相关性，我们绘制延迟分数，RTT和前向延迟比，作为观察到每条路由的路由器级相似系数的函数。图12(b)显示了相关性。从图中可以看出，当路由器级相似系数接近1时，RTT和前向延迟比接近0.5。在这种情况下，前向和后向路径经过几乎相同的一组路由器，并经历相同的延迟。它们对RTT的贡献相等。在路由器级相似系数不接近1的情况下，延迟分数从0.3到0.7波动。这给了我们一个指示，如果存在一个重要的路由器级不对称的情况下，前向和后向的OWD可能有显著差异。总之，路由器级的不对称并不一定意味着延迟不对称，延迟不对称意味着路由器级的不对称。3.3 动态延迟不对称虽然延迟不对称的存在是有趣的，另一个有趣的问题是：一个给定源-目的地对的延迟不对称是否在时间上是恒定的?如果延迟不对称保持不变，我们可以进行一次性测量和调整相应的应用程序。如果不是，它是如何变化的?表1对各种可能性进行了分类，可以改变延迟不对称。从表1中可以看到四个延迟不对称变化原因：(A)后向延迟变化贡献整个RTT变化，前向延迟不变；(B)前向延迟变化等于RTT变化，而后向延迟不变；(C)前向和后向延迟变化对RTT的变化有同样贡献；(D)前向延迟和后向延迟的变化相同，但方向相反，导致不变的RTT。表1：观察到各种可能的变化延迟不对称图13：动态延迟不对称为了更好地了解上述情况的普遍程度，在我们跟踪的RTT值中记录了波动情况：当任意源/目的对的RTT波动为2%，我们记录相应的前向延迟和后向延迟波动。图13(a)绘制散点图以显示前向OWD变化和RTT波动之间的相关性。我们看到这个图可以分解为4个部分主要区域。第一个区域平行并靠近x轴(直线y=0)(表1 legend A)，第二个区域沿着y=x线(表1 legend B)，第三个区域沿着y=0.5x线(表1 legend C)，和第四区域平行并接近y轴(x=0线)(表1 legend D)。因此，有确凿的证据表明延迟不对称是一种动态特性。延迟改变时，延迟不对称也会改变。文献15指出了延迟的两个改变原因-路径改变和短暂的拥塞。除了这两个主要的延迟变化原因，我们关注的是由于前向路径的改变而引起的延迟变化。这些路径变化是使用来自源到目的地的周期性traceroutes测量。使用重复traceroutes，我们可以发现发生前向路由路径变化的情况（以20分钟为粒度）。同时，我们进行traceroute后向路径，也测量单向延迟。我们分前向路径的变化分为两类：inter-AS（AS间）路径变化和intra-AS（AS内）路径变化。图13(b)显示了在前向路径变化有多少前向延迟变化。对每一个路径变化，在测量中观察，我们分类路径变化为：如果新路径有以前的路径不同的AS级路径，则为inter-AS路径变化，或者如果AS内路径发生变化，则为intra-AS路径变化。我们看到，80%的intra-AS路径变化导致的前向延迟变化小于10ms。当inter-AS路径发生变化时，大约是前向延迟时间的80%，变化不到20ms。路径的改变可能会改变路径的延迟不对称。对于观察到的每个inter和intra-AS内部的路径变化，来找出影响OWD和RTT变化的路径变化。我们画了一个前向延迟的绝对变化和后向延迟的绝对变化之间的散点图。图14：散点图：Intra-/Inter-AS路径变化的后向和前向延迟变化图14(a)显示了在前向的intra-AS路径变化时，前向延迟变化和后向延迟变化之间的相关性。我们看到有属性延迟LegendRTT ChangesForward ChangesReverse ChangesExplanationAYesNoYesRTT changes due to a change in reverse delay but forward delay is unchangedBYesYesNoRTT changes due to change in forward delay but reverse delay is unchangedCYesYesYesRTT changes along with changes in forward and reverse delaysDNoYesYesRTT does not change but both forward and reverse delay changes(equally and opposite in sign)PAGE062网络可靠性Network Reliability变化值之间有很强的相关性。在大多数情况下，前向延迟和后向延迟的变化对RTT的影响是相等的(沿着y=x线的块点)。这意味着，我们注意到路径的变化在大多数情况下，后向的路径也会变化。图14(b)显示了Inter-AS前向路径改变，前向延迟和后向延迟之间的相关性。这里可以有两种情况：AS更改位置只在前方向上，并且在前向路径上的AS变化也会影响后向路径。Inter-AS路径的变化的频率低于intra-AS路径的变化的频率。图14(b)中的散点图显示了两个模糊的区域，一个沿着y=x线区域和平行并靠近x轴的第二个区域。第一个AS路径的变化区域表示前向延迟和后向延迟对RTT的贡献相同。这个区域捕获了AS前向路径改变也会影响后向路径。第二个区域描述AS级路径前向变化的情况，前向延迟变化，但不影响后向延迟。在这个例子中，RTT变化完全由前向延迟贡献。总之，我们已经确定了基于路由路径变化的延迟不对称变化的原因。延迟不对称是一个动态变化的性质取决于路由动态。正如预期的那样，inter-AS路径的变化与intra-AS路径变化相比会导致更大的延迟变化。此外，intra-AS路径变化，在前向和后向路径的延迟变化方面，具有类似的效果。4.结束语本文通过实验、测量了单向延迟及不对称性，并进行研究和分析。单向延迟测量结果表明单向延迟大小对数据包大小的依赖是线性的。即使在拥挤的互联网环境中，分组数据和选择的方法也是有效的。单向延迟的变化与相应的路径变化之间存在相关性。准同步时差测量的结果为理想的正态分布。单向延迟不对称性破坏了NTP和PTP时间同步算法的基础，值得通过大量实验研究，以完善算法，提高时间同步精度和环境适用性。本文比较和对比了在互联网上，广泛使用选择路由的OWD和相应的RTT。首先测量了范围和多对前向和后向之间OWD严重不对称的互联网主机。然后，我们试图追踪观察到的OWD-RTT关系的原因。进一步，我们研究了OWD-RTT与OWD和RTT变化之间的动态关系。我们的主要结论如下：（1）前/后向延迟不对称相当普遍。（2）至少可以归结为延迟的不对称的部分原因是路由路径的不对称。（3）延迟不对称是动态的，随着时间推移，延迟不对称是变化的。跟踪不对称如何随RTT的变化情况，当路由发生改变时，我们进行如下观察：在一次intra-AS路径变化期间，大多数前/后向延迟的变化是相同的。在一次inter-AS路径变化期间，前/后向延迟的变化是相同的（常数的不对称），或者只有前向延迟变化才会导致RTT变化(变化的不对称)。我们发现商业网络比教育和研究网络表现出更高程度的不对称。我们也发现RTT的波动与OWD之间存在较弱的相关性，而OWD的变化与相应的路由变化之间存在较强的相关性。路由器级路径不对称和延迟不对称之间存在弱相关性。然后，我们研究了路径变化时，延迟不对称如何随时间变化。测量结果表明我们的工作为应用程序进行预测提供了重要的基础，由于可能的路由变化的OWD变化而更准确地推断来自RTT测量的OWD值。建议基于邻近性的应用程序需要关于与使用一半的RTT一种近似相比，准确的OWD测量更能受益。然而，OWD测量需要双方的主机配合。一个可能的解决方案是将OWD测量软件作为商用操作系统中的daemon，类似用于正常ping的ICMP echo daemon。如前例NTP同步算法，如果能测量NTP客户端和NTP服务器间，前后向的OWD 分别为：D1和D2，则：Offset(T2-T1)-(T4-T3)-D1-D2/2 （6）式中的D1D2即为OWD不对称值，OWD不对称值是动态变化的。根据参考文献16，需要按照OWD不对称特性的分类(静态不对称，动态不对称，伪静态不对称)，作不同的处理，才能得到可用的OWD不对称值。这种智能的NTP或PTP同步算法会提高时间同步的精度，增强环境适用性。这有待进行专题研究，并用实验来验证。参考文献1 Castro,M.,Druschel,P.,Kermarrec,A.M.,Nandi,A.,Rowstron,A.,Singh,A.:SplitStream:High-Bandwidth Multicast in Cooperative Environments.In:Proc.of ACM SOSP.(2003).2 Akamai:Expertise content delivery http:/ Zhao,B.Y.,Huang,L.,Stribling,J.,Rhea,S.C.,Joseph,A.D.,Kubiatowicz,J.:Tapestry:A Resilient Global-Scale PAGE063网络可靠性Network Reliability作者简介吴承治，教授级高工，现代传输编委会副主任。参考文献Overlay for Service Deployment.IEEE JSAC(2004).4 Ng,T.S.E.,Zhang,H.:Predicting Internet Network Distance with Coordinates-Based Approaches.In:Proceedings of IEEE INFOCOM.(June 2002).5 Balakrishnan,H.,Padmanabhan,V.N.,Katz,R.H.:The effects of asymmetry on tcp performance.In:Proc.of ACM MobiCom.(September 1997).6 Tsukasa Iwama,Akihiro Kaneko,Akihiko Machizawa,and Hiroshi Toriyama.:Real-Time Measurement of One-Way Delay in the Internet Environment.jy.nict.go.jp/tsp/publication/f20041019.pdf.(October 2008).7 Owping:One way ping http:/e2epi.internet2.edu/owamp/.8 14.Shalunov,S.,Teitelbaum,B.,Karp,A.,Boote,J.,Zekauskas,M.:A One-way Active Measurement Protocol(OWAMP).RFC 4656(Proposed Standard)(September 2006).9 Augustin,B.:et al.,Avoiding traceroute anomalies with Paris traceroute.In:Proc.of IMC.(2006).10 PlanetLab:An open platform for developing,deploying and accessing planetary scale services.http:/www.planet-lab.org/.11 Pucha,H.,Hu,Y.C.,Mao,Z.M.:On the Representativeness of Wide Area Internet Testbed Experiments.In:Proc.of ACM IMC.(2006).12 Sommers,J.,Barford,P.:An Active Measurement System for Shared Environments.In:Proceedings of IMC.(October 2007).13 Mills,D.L.:RFC 1305:Network time protocol(version 3)specification,implementation(March 1992)Obsoletes RFC0958,RFC1059,RFC1119 Status:DRAFT STANDARD.14 He,Y.,Faloutsos,M.,Krishnamurthy,S.Huffaker,B.:On routing asymmetry in the internet.In:Proceedings of IEEE Globecom,2005.(2005).15 Pucha,H.,Zhang,Y.,Mao,Z.M.,Hu,Y.C.:Understanding Network Delay Changes Caused by Routing Events.In:Proc.of ACM SIGMETRICS.(2007).16 黄震宇.PTP over OTN高精度同步的时间传递.现代传输.4期,pp58-64.(2021).