交换机评定测试方案建议.doc

目 录
一、物理特性 2
二、功能特性 2
三、路由协议测试 3
四、交换性能 3
五、可管理性 3
六、可靠性 4
七、测试平台组成 4
八、测试标准 5
九、测试平台介绍 12

交换机测试方案

我们共同来商讨制定专门针对二/三层交换机的评定测试方案，其中包含了物理特性、功能特性、路由协议、交换性能、可管理性以及可靠性在内的六大方面，同时对交换机的每端口价格也进行了考虑，从而实现集成成本的最优化。
一、物理特性
这项测试主要从六个方面来进行，包括机型外观、端口配置、模块化设计、堆叠特性、底座类型、热插拔特性。
第一是机型外观，考察对象包括指示灯设置是否合理；是否设有故障指示灯和流量指示灯；是否具有电源开关；是否提供机架安装的附件以及说明书编写是否明了、详尽，语言是否为中文。
第二是端口配置，包含端口数目、端口类型、是否有WAN/MAN端口、是否支持10/100M自适应、FDX/HDX自适应、有无可选的MDI/MDI-X端口，端口设置是否合理。
第三为模块化设计，涉及到支持何种模块，接口类型以及扩展能力。
第四为堆叠特性，考察交换机是否支持堆叠及堆叠能力。
第五底座类型，分为固定、模块和混合三种情况。
第六是热插拔特性：包括连接模块、上行模块、风扇、电源等部件。
二、功能特性
功能特性重点考察以下几点：
1. 转发类型：交换机转发类型分成存储转发（store-and-forward）和快速转发（cut-through）两类。通过向交换机发送一定数量的不同大小的连续帧，测试其转发延迟，从延迟的变化上确认其转发方式。
2. 过滤：交换机设置过滤策略，通过向交换机发送一定数量的相应类型的数据帧，从转发结果上确认交换机是否支持基于端口和MAC地址的过滤以及非法帧过滤。
3. 广播抑制：交换机上的广播风暴会消耗大量带宽，降低正常的网络流量，给网络性能带来很大影响。广播抑制的目的是有效地消除或减少网络上的广播风暴通过向交换机发送一定数量的广播帧，从转发结果上验证交换机是否支持广播抑制。除了广播风暴还有其他类型的风暴，如多点传送风暴和不明目的MAC地址（单点传送）风暴。
4. 端口干路：是否支持port trunking或其它端口速率提升技术，可以提供高速上行链路。
5. 802.1d协议支持：绝大多数交换机支持802.1d跨越树（Spanning Tree）。跨越树技术能够检测并且消除网络中出现的逻辑环路。人为构造环路，测试环路的消除。
6. VLAN功能：是否支持VLAN，VLAN的实现标准，VLAN的设置方式，VLAN的跨设备能力。
7. 流量控制：是否支持HDX、FDX的流量控制标准。
8. 三层交换能力：通过向交换机发送一定数量的IP包，从转发结果上确认交换机是否支持三层交换。
9. 协议支持：是否支持IP协议或是否支持IPX协议
10、802.1x协议支持: 绝大多数交换机支持802.1x终端准入方案。
11、mpls vpn支持。
12、组播功能支持：三层支持组播路由，二层支持组播侦听等功能。
三、路由协议测试
测试交换机对目前局域网中普遍采用的两种动态选路协议RIP和OSPF协议的支持情况以及测试路由地址表的大小。
四、交换性能
交换性能主要包括了对吞吐量、延迟、丢帧率、背对背这四项公认指标的测试（结果见表）。另外我们还对地址表深度、线端阻塞和交换机的多对一端口传输能力进行了考察。
五、可管理性
目前交换机普遍采用的管理方式包括通过控制台进行的软件管理、Telnet方式的远程管理、人性化较强的Web管理以及智能型的网络管理（SNMP、RMON），主要测试交换机对它们的支持能力以及是否易于实施。另外用户访问控制是否有安全措施以及安全策略如何也在测试之列。
六、可靠性
 主要测试交换机在如何避免发生故障以及发生故障后如何解决问题方面的能力，其中包括交换机是否具备一定的冗余能力，厂家是否提供相关的技术支持（网站、热线电话、现场支持等），产品是否通过了国家强制性标准如电磁辐射标准、各种安全标准以及对交换机散热问题的考虑和采取的措施等。

七、测试平台组成
此次我们对博达交换机全系统全性能测试,建议采用业界标准测量仪表--Spirent 公司的SmartBits6000,控制台为一台LENOVO笔记本，采用酷睿双核处理器，内存2GB，操作系统为WindowsXP，通过串行口COM1与SmartBits6000相连，SmartBits6000配置的接口与交换机所有接口一对一相连。在控制台上运行Spirent公司相应业务测试软件，可控制SmartBits6000完成交换机相应的测试。
测试设备由一台SmartBits6000和我们所要关注交换机某业务的性能测试软件组成,SmartBits6000上可安装48块不同类型的测试卡(针对被测试的交换机所有端口)，要求安装有24块GX-1405B测试卡，其中GX-1405B为千兆以太网测试卡，GX-1405B为千兆以太网测试卡支持10M/100M/1000M端口测试,可以实现对百兆交换机和千兆交换机的性能测试,如果需要对上行的SFP光纤口测试,另配千兆光纤接口测试卡.
 测试软件要求有(包含以下,但不局限下列组件)：
    ●SmartWindows 6.52（SmartBits虚拟控制面板）
    ●SmartApplication 2.21（RFC 2544/1242自动化测试软件）
    ●Smartlib(SmartBits 测试软件开发工具包)
●Smart connect(Tcl/Tk可视化测试脚本开发工具)
●SAI(SmartBits 自动化接口软件)
●AST II(二层交换测试软件，支持RFC 2889/2285)
●Smartlib multicastIP(IP 组播网络性能分析测试软件)
●SmartFLOW(全线速率QOS性能测试软件)
●SmartxDSL(宽带xDSL网络性能测试软件开发工具包)
●Smartcablemodem test(线缆调制解调器性能测试)
●SmartVOIPQos(VoIP 网络设备测试软件)
●DOCSIS(DOCSIS 验收测试软件)
●Tum Up Connect 城域网和以太网链路质量测试软件)

八、测试标准
由于测试方法涉及到知识产权的保护，因此不在这里进行介绍，相关方面的资料可以参考RFC 2544（网络互连设备的基准测试方法）以及RFC 2889（局域网交换设备的基准测试方法）。在这里我们只讨论RFC 1242和RFC 2285中涉及的一些基本术语，由于篇幅较长，下面只对其中一些重要概念有选择地进行介绍。
网络互连设备的基准测试术语（RFC 1242 Benchmarking terminology for network interconnection devices）
●背对背帧（Back-to-back）
 对于给定的媒体，从空闲状态开始，以最小的合法帧间隔连续发送固定长度的帧。
随着网络设备的逐渐增加，网络中会产生大量的背对背帧。比如使用NFS协议的远程磁盘服务器，比如RDUMP这样的远程磁盘备份系统，以及像远程磁带访问系统那样配置成一个请求就可以引发一批大小为64K字节的数据被返回。对于穿越像以太网这样MTU（最大传输单元）相对较小的的网络来说，由此会导致许多数据分片在网络中传输。由于只有当所有的数据分片都被收到时才会将它们重组，因此即使只有一个分片因网络中的某些网络设备没能对连续帧进行充分处理而丢失，都将会使发送方陷入无限循环中，不断地尝试着发送大量数据段来使接收方完整地收到这些数据分片。
随着Internet的规模不断扩大，使得路由更新会产生许多帧，因此要求现代路由器的传送速度必须非常快。由于路由信息数据帧的丢失将会产生网络不可达的错误信息，那么对这个参数的测试目的主要就是来确定网络设备的数据缓存的大小。
测量单位—产生脉冲时以N字节为一个帧的帧数。
●数据链路帧的大小
帧字节的数目是从帧的第一个字节开始计算直到出现FCS（帧检验序列）标志为止，如果没有FCS标志则以最后一个字节作为结束点。
在测试网络设备或进行网络评估过程中，帧大小的报告很容易会让人产生混淆。有些人会加上帧尾的校验和，而有些人则不加。在本文档和它的后续文档中，我们将上面的定义作为一个明确定义来使用。
测量单位—字节。
 ●丢帧率
 在稳定状态负载下，由于缺乏资源而没有被网络设备转发出去的帧占所有应该被转发的帧数的百分比。
 这项测量指标可以用来报告网络设备在超载状态下的性能。该指标的高低能够有力地显示出一台网络设备在恶劣网络环境中的运行效能，特别是在受到广播风暴冲击的情况下。
 测量单位—被丢弃的帧占所有应该转发的帧的百分比（以字节为单位计数），一般使用负载量-丢帧率这种形式的图表进行报告。
 ●帧间隔（IFG）
  按照3.5节定义的一个数据链路帧的结尾到接下来的下一个数据链路帧的开始之间的时间间隔。
  在测试网络设备时，对于报告帧间隙通常会产生很多混淆的理解。本文档及后续文档作为一个指定定义来使用。
  测量单位—精确到足以区分开两个帧的时间单位。
●延迟
对于存储转发设备来说：输入帧的最后一位到达输入端口和输出帧的第一位出现在输出端口的时间间隔。对于按位转发设备来说：输入帧的第一位已到达输入端口和输出帧的第一位出现在输出端口的时间间隔。
延迟的可变性会引发一些问题。许多协议是与时间紧密相关的（如：LAT和IPX协议）。未来的应用很可能对网络延迟更加敏感。设备延迟的增加将会缩小网络的有效直径。消除数据速率对延迟测试的影响是希望所在。这项测试应当仅仅反映真实的设备延迟。测试应该在不改变设备配置的情况下，对大小不同的帧进行。
从概念上来说，对于所有设备的测试都应该从帧的第一个实际位开始，不包括帧的导言部分。理论上厂商们通常应该将他们的网络设备设计为存储转发的设备，比如一个网桥，它能够在完全接收一帧的所有数据前就转发该数据帧。这种类型的设备通常称之为“直通（cut through）型”设备。假定直通型设备在接收输入帧的剩余部分时出现了某种不可恢复的传输错误，例如：接收到一个错误校验和。在这种情况下，设备仍然被看成一种存储转发设备，设备的延迟仍然从输入的最后一位开始计算，直到输出第一位结，即使这个计算结果是负值。其目的就是要将设备作为一个整体来看待，而不考虑设备的内部结构。
 测量单位—精确到足以区分开两个事件的时间单位。
●基于过滤策略
  过滤就是根据管理策略将本应该在普通操作中转发出去的帧丢弃的操作方式。
  多数网络设备都具备按照一定标准将某些帧丢弃的能力。这些标准既可以是简单的源或目的地址，也可以通过检查数据帧中的某些特定域值来制定。配置多个网络设备使它们具有过滤功能的操作将会影响网络设备的吞吐量。
测量单位—n/a.
●重启动方式
因为系统重新初始化而引起的数据丢失。
在系统电源启动或重启的这段时间内，网络设备不能接收和转发帧。这段不可用时间的长短对于评估设备的优劣十分重要。此外，许多网络设备当它们的初始化变量改变后都需要进行某种形式的重启。如果重启时间太长，就会抵消网络管理员修改这些变量的积极性。
 测量单位—在各种重启动条件下，对设备行为的描述。
●单个帧操作方式
 一个设备在输入端口上只收到单个帧时，设备的操作方式。
 由单个帧构成的数据“流”能够要求网络设备进行许多处理工作。比如：发现路由，执行ARP地址转换，检查访问权限等等。总之就是需要为数据建立缓存项目。与处理固定数据流中同样内容的帧相比，设备通常需要花更多的时间来处理分隔开的单个帧。通常都会有这样一种担心：假设这个单独帧是许多需接收转发帧中的第一帧时，某些设备也许会在缓存建立并初始化的时候将它丢弃掉。
测量单位—对于设备操作方式的描述。
  ●吞吐量
  设备在不丢失任何一个帧的情况下的最大转发速率。
 吞吐量指标允许设备厂商只需报告这一项值就可以在市场竞争中让客户辩明优劣。因为即使丢失数据流中的一个帧便能引发较长的延时，使更高层协议因为等待而超时。它对于了解设备所能支持的最大数据速率是很有帮助的。考察时应对大小不同的帧进行多组测试。对于同时支持路由和网桥功能的设备要分别测试路由和网桥功能的数据。如果接收帧中包含校验和的话，那么所有的校验和处理都应该被执行。
测量单位—每秒接收的以N字节为长度的帧的数目。
每秒接收的输入比特位。
局域网交换设备的基准测试术语（RFC 2285 Benchmarking terminology for LAN switching devices）
●设备
这组定义适用于所有类型的网络设备。
●被测设备（DUT）
施加负载并测试其响应时间的网络转发设备。
一台单独的固定底座或模块单元从它的一个或多个端口接收数据帧后根据包含在其中的地址信息再把它们转发到一个或多个网络端口。
●被测系统（SUT）
将一组网络设备看成是一个单一实体对其施加负载并测量响应情况。
被测系统可以由多种不同的网络设备组成。一些设备可能会主动进行转发决策处理，例如路由器和交换机；而另一些设备则可能采取被动方式，比如信道服务单元/数据服务单元。不管有多少组成单元，它们都被当成一个单一系统测量其在给定负载下的响应情况。
●单向传输
当所有数据帧出现在DUT/SUT输入端口时，它们指向的输出端口没有接收帧。
●双向传输
 当帧到达DUT/SUT时，每个端口在进行接收的同时也在进行发送。
 此项定义遵照RFC 1944文档第14部分的讨论。
 当测试仪测试DUT/SUT双向传输能力时，所有那些从测试仪接收帧的端口也在向测试仪发送帧。当测量交换设备全双工端口的吞吐量或转发速率时，必须采用双向传输方式。
 ●突发传输
 这组定义用于描述DUT/SUT的单个帧之间或一组帧之间的间隔。
 ●突发传输
 以合法的最小帧间隔传输的一组帧。
 此项定义遵循RFC 1242 3.16部分和RFC 1944 第21部分中关于孤立帧的讨论。
 ●突发量
 一次突发传输的帧数。
 突发量可以从1变化到无穷大。在单向传输、双向传输或网状传输发生在全双工端口上时，突发长度在理论上没有限制。而当双向传输或网状传输出现在半双工端口上时该值则是有限的，因为端口会间歇地中断传送从而进行帧的接收。
 在实际的网络环境中，突发量在正常情况下会随着接收窗口的增加而增加。这使得测试设备的最大最小突发量十分必要。
●突发间隔（IBG）
 两次突发传输的时间间隔。
 此项定义遵照RFC 1944文档第20部分关于突发传输的讨论。
 双向传输和网状传输本身就具有突发的特性，因为端口共享接收和发送的时间片。外部来源对于某个给定的帧大小提供了突发传输并且释放量必须能够调整突发间隔来达到一个指定的帧传输平均速率。
    测量单位—纳秒/微妙/毫秒/秒
 ●负载
    这组定义适用于在某一速率下施加到DUT/SUT的流量。
●期盼负载Intended load（Iload）
    一个外部信息源企图让DUT/SUT每秒向指定输出端口转发的帧数。
●提交负载Offered load（Oload）
一个外部信息源能够观察或测量到DUT/SUT每秒向指定输出端口转发的帧数。
●最大提交负载（MOL）
一个外部信息源每秒能够传送给DUT/SUT并让其向指定输出端口转发的最大帧数。
●过载
试图以超过媒介允许的最大传输速率向DUT/SUT施加负载。

●转发速率
 这组定义适用于任意一台DUT/SUT在响应请求时转发数据的速率。
●转发
速率（FR）一台设备能被观测到的每秒成功向正确目的端口传送的帧数。和RFC 1242中3.17部分定义的吞吐量不同，转发速率没有明确地涉及到丢帧。转发速率引用的是在输出端口所观测到的与负载相关的每秒帧数。转速发率能够用不同的传输方向和流量分布来测量。
值得注意的是，一台DUT/SUT的转发速率与它所采用的拥塞控制机制是密切相关的。
●最大提交负载下的转发速率（FRMOL）
一台设备能被观测到的每秒成功向正确目的端口传送的帧数。
最大提交负载下的转发速率可能低于一台设备被观测到的成功转发信息的最大速率。这种情况一般发生在提交流量处于最大负载时所导致的设备转发能力下降时。
当报告最大提交负载下的转发速率时最大提交负载必须同时被标注。
●最大转发速率（MFR）
一台DUT/SUT的最高转发速率必须经过反复的转发率测试来得出。
一台设备的转发速率可能会在最大负载到来之前下降。这台设备的相应负载情况必须在报告最大转发速率时被引用。
●拥塞控制
 这组定义用于描述一台DUT/SUT当拥塞或争抢发生时的表现行为。
●背压一台DUT/SUT为避免丢帧而阻止外部信息源向产生拥塞的端口发送数据帧的一种技术。
一些交换机发送拥塞信号（比如前导位）给信息源当他们的发送或接收缓冲开始出现溢出。实现全双工以太网链路的交换机可以采用IEEE 802.3x流控达到相同目的。这些交换机不会发生丢帧即使是在外部信息源试图向那些发生拥塞或超载的端口发送信息流时。
值得注意的是，像这种人为干扰和其它流控方法可能会降低所有传送到拥塞输入端口的流量，其中包括发向非拥塞端口的流量。
●转发压力
实际接收帧数与期望接收帧数之比。
●线端
阻塞指外出端口上的拥塞限制了通往非阻塞端口的吞吐量，与过载无关。线端阻塞通常存在于那些采用输入排队的交换机，由于队列头有转发到阻塞端口的帧，造成后继转发到非阻塞端口帧也必须等待，从而形成线端阻塞。而对于那些采用输出排队的交换机，线端阻塞现象将不存在。
●地址处理这组定义适用于地址解析过程，通过它，一台DUT/SUT可以把帧转发到正确的目的地。
●地址缓存容量
每N个端口、每个模块或每台设备的所拥有的MAC地址数量，一台DUT/SUT能够通过缓存手段来达到成功转发的目的，而不必采用广播或将帧丢掉。
用户在搭建网络时必须确定要将多少个节点连接到交换机上。因此在交换机开始在网络上广播之前有必要弄清每N端口、每模块或每台设备的地址表容量。
●地址学习速率在没有广播和丢帧的情况下，交换机学习新增MAC地址的最快速度。
用户可能很想了解一台交换机究竟需要花多长时间来建立它的地址表。这条信息对于那些需要考虑早上用户登陆所花时间或网络瘫痪后重建的人来说十分有用。
●错误帧过滤这组定义适用于可能由于包含错误而被DUT/SUT滤掉的帧。
●错误帧所有超长、超短、错位以及含有错误帧校验序列的数据帧。
并不像IEEE 802.1d（桥连）那样，交换机没有必要过滤掉所有的非法帧。例如一些交换机，它们在转发错误帧之前不对其进行存储，因此也就不会过滤掉超长帧（jabbers）或是检验帧校验序列的合法性。另外还有一些是超短帧（runts）和错位帧。
●广播
这组定义适用于MAC层和网络层广播帧。
●广播转发速率
一台DUT/SUT在一秒内向它所在广播域的所有端口发送的广播帧的数量。
对于交换机来说，并不存在标准的转发机制来处理这些广播帧。它用来测定在同一模块和机箱中不同模块之间甚至是通过骨干相连的不同交换机之间转发的帧的广播转发速率。

九、测试平台介绍

Spirent公司中文为思博伦通信,在中国的北京、上海、广州设立了代表处，主要为中国的电信运营商、通信设备制造商、研究开发机构和评测实验室提供技术领先的通信测试技术和相关设备。并于 2004 年建立了研发中心。
思博伦通信的测试产品和技术服务覆盖了电信网络的各个领域，包括：话音通信、数据网络、接入网络、光纤通信、移动通信和卫星通信。