网络系统测试与评价-3 网络测试方法.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,网络系统评价与测试,By Huaxin Zeng(,曾华燊,）,Professor Southwest Jiaotong University,PhD from University of London(1985),huaxinzeng1,hszeng,Lecture 4,Part II:Basics of Network Testing and End-system Testing,4.2,端系统的测试方法,1,、由于网络系统为分层结构，因此，对网络系统的测试因测试观察点的不同而异。根据对协议的观察点组合，,ISO 9646,定义了四种抽象测试法,单层,/,多层,协议实现,下服务访问点,SAP,上服务访问点,SAP,单层,/,多层,协议实现,服务访问点,SAP,测试系统,被测系统,图,4,1,对（单层或多层）协议实现的观察点,4.2,端系统的测试方法,ISO 9646,定义了四种抽象测试法,本地测试法,LTM,远端测试法,RTM,分布式测试法,DTM,协同测试法,CTM,下服务访问点,SAP,ITU,上服务访问点,SAP,被测系统,上测试器,下测试器,上下测试器间的协调,LTM,的特点：,上下测试器直接对,ITU,的上下服务界面的服务访问点进行观察；,测试器置于被测系统之中；,测试功能最强，但实现该法难度大。,图,4-2,本地测试法示意图,在被测协议对象,(IUT Implementation Under Test),的上、下服务访问点直接进行观察的方法,本地测试法,（,LTM Local Test Method),LTM,的优缺点,上下测试器直接对,ITU,的上下服务界面的服务访问点进行观察；测试器置于被测系统之中。,优点,:,测试功能最强，能够全面测试,ITU,对正常事件的反应和异常时间的反应；上、下测试器之间同步与协调容易。,缺点：由于必须将上、下测试器全部在被测系统中实现，因此，必须为每个被测系统实现一个测试系统，工作量太大。因此，只能作为系统开发时的内部测试系统使用，难以作为第三方测试的使用技术。,能否简化？能否将测试器移出被测系统？,仅在被测系统外部对被测系统的,IUT,的下服务界面间接观察的方法,远端测试法（,RTM-Remote Test Method),ITU,的上层协议实现,？,与,ITU,支撑层,的对等实体,与,ITU,支撑层,的对等实体,ITU,的下服务访问点,SAP,ITU,ITU,的上服务访问点,SAP,被测系统,下测试器,与,ITU,的下服务访问点对应的,SAP,外部测试系统,图,4-3 ISO,的抽象测试法,远端测试法（,RTM),RTM,的优缺点：,优点：在测试系统内部不需要实现任何测试部件，因此，实现一个只有下测试器的测试系统就能够对不同系统中的同类,IUT,进行测试，而且系统设计与实现都相对简单。,缺点：,测试能力有限：由于仅能够通过在被测系统外部与,IUT,下服务界面上的服务访问点间接地访问,ITU,，因此只能在,IUT,下界面测试,IUT,的正常协议交互情况，不能测试违背协议的异常情况,IUT,的应答与活动情况。,由于无上测试器，只能以,IUT,上层协议“代替”。即使该实现经过测试符合相关协议，该“上测试”只能发送和对,IUT,的正常行为作应答，不能测试,IUT,上面的协议异常应答情况。,能否综合,LTM,和,RTM,的优缺点，对上述测试法进行改进,?,对上服务访问点直接访问，对下服务访问点通过外部测试系统的下服务访问点间接访问的观察的方法,分布式测试法,(DTM-Distributed Test Method),与,ITU,支撑层,的对等实体,与,ITU,支撑层,的对等实体,ITU,的下服务访问点,SAP,IUT,(Implementation,Under Test),ITU,的上服务访问点,SAP,被测系统,上测试器（,UT),下测试器,(LT Lower,Tester),与,ITU,的下服务访问点对应的,SAP,外部测试系统,图,4-4 ISO,的抽象测试法,分布式测试法（,DTM),上测试器,UT,的实现问题,由于上测试器必须在被测系统中实现，因此，上测试器的实现由两部分组成：与测试过程控制有关的部分,IUT,接口适配器（或称,IUT,接口部分）。图,4-5,为,UT,内部结构示意图：,UT,测试控制部件（即测试状态,控制及,UT,主动测试控制数据与,生成测试应答数据生成及收发）,IUT,上界面内部服务接口适配区,IUT(Implementation,Under Test),UT,图,4-5,上测试器（,UT),的内部结构与功能,分布式测试法的优、缺点,优点：下测试器被移至被测系统之外，因此，在被测系统内需要实现的软件复杂度降低。,缺点：,由于对,ITU,的下服务访问点只能进行间接访问，对下界面异常情况的控制能力下降（较难制造异常情况）。,为了减少在被测系统中实现的上测试器（,UT),的难度，尽量减少其复杂度，部分牺牲测试效率，将,LT,与,UT,的工作模式改为主从模式，,LT,为主，,UT,主要以应答为主，改称测试应答器（,TR-Test Responder),。,由于上下测试器分别在两个系统之中，因此同步困难。,实例：美国,NBS,的分布式测试系统的使用说明中特别强调，使用该测试系统必须配备异地专用通信工具,电话，出现问题时，通知被测系统方重新启动被测系统。,如何解决,LT,与,UT,间的协调同步问题,？,在,DTM,基础上增加上下测试器间的协调同步功能的方法,协同测试法（,CTM Coordinated Test Method),与,ITU,支撑层,的对等实体,与,ITU,支撑层,的对等实体,ITU,的下服务访问点,SAP,IUT,ITU,的上服务访问点,SAP,被测系统,上测试器,(TR)+TDRP,下测试器,(LT-Lower,Tester,与,ITU,的下服务访问点对应的,SAP,外部测试系统,图,4-6 ISO,的抽象测试法,协同测试法（,CTM),TDRP,TDRP,(Test Driver Test,Responder Protocol),协同测试法的优缺点,优点：具有与分布式测试法同样的测试功能，同时又较好解决了分布式测试法上下测试器之间的同步问题。,缺点：尽管与分布式测试法类似将,LT,与,UT,间的对等关系改变为主从关系，使,TR,有所简化，但由于上测试器内必须实现,TDRP,协议，因此，其上测试器比分布式测试法的上测试器复杂。,2,、,ISO,定义的四种抽象测试法小结,本地测试法测试功能最全面但实现困难，难以作为第三方测试的技术；,远测法实现简单，但测试能力太弱，只能作被动测试（监测）或简单测试的手段；改进后的分布式测试法，即协同测试法，功能居中，但上测试器的复杂性使系统间移至有一定的难度。,新的出路在何方？,4.3,中国人提出的测试方法,1,、对,ISO,四种抽象测试法的分析,要能够对被测协议实现进行全面的测试，就必须能够直接对,IUT,的上下服务接口进行直接的访问，直接在服务访问点注入测试控制数据和观察被测对象的应答，以此全面评估,IUT,的协议活动是否符合相关协议标准。而长期以来人们的认识是：要这样做就只有将全部测试系统放置在被测系统之中。,在英国国家物理实验室（,National Physical Laboratory),工作期间，在分析各类测试方法和实现各方法的典型系统的基础上，,Zeng,意识到应当将复杂的测试功能与服务接口适配功能分离，将数据传回外部的测试系统进行复杂的处理。这就是“渡船”（,Ferry),概念提出的背景。受人或汽车借用“渡船”过河的简单实事的启发，提出在测试系统与被测系统间利用“渡船通道”将外测试系统向,IUT,注入测试控制数据和将,IUT,应答信息返回外测试器进行复杂处理的问题。,2,、,“渡船”测试法,（,Ferry Test Approach),早期的“渡船测试法”是针对协同测试法提出来的,与,ITU,支撑层,的对等实体,与,ITU,支撑层,的对等实体,ITU,的下服务访问点,SAP,IUT,ITU,的上服务访问点,SAP,被测系统,下测,试器,(LT,）,外部测试系统,图,4-7,用渡船测试法取代协同测试法,上测试器,(UT,）,主渡口,从渡口,接口适配区,上,测,试,器,收,发,的,数,据,渡船通道,“钳形渡口”（,Ferry Clip),与用“钳形渡口测试法”（,Ferry-Clip Test Approach),替代四种抽象测试法。,下接口适配区,与,ITU,支撑层,的对等实体,ITU,的下服务访问点,SAP,IUT,ITU,的上服务访问点,SAP,被测系统,下测,试器,(LT,）,外部测试系统,图,4-8,用钳形渡口测试法取代,ISO,四种测试法,上测,试器,(UT,）,主,“,钳形,”,渡口,从,“,钳形,”,渡口,上接口适配区,上,、,下,测,试,器,收,发,的,数,据,渡船通道,渡船测试法和钳形渡口测试法后被,ISO,相关工作组列入端系统的测试方法。后作为实现,ISO,四种抽象测试方法的通用实现方法。,中国科学院成都计算机应用研究所在两项国家自然科学基金项目、一项“七五”攻关项目、一项中科院院长基金项目和两项四川省应用基础项目的支持下，经过,7,年的努力，以钳形渡口测试法为基础研究发的,OSI,传送层协议测试系统获中国科学院科技进步一等奖。,5.1,中继,/,中间系统层次模型与内部组织结构,中继,/,中间系统层次结构模型,按照,OSI/RM,中继,/,中间系统是由多组多层结构通过中继,/,转发机制互联而成的系统，按照带内或带外信令传输概念可分别描述为图,5-1,和,5-2,所示的层次结构模型。因此，用户数据的传输过程将在输入单元经多层结构的协议处理和选择输出端口后转发至相应输出单元的。这一转发机制常采用交换矩阵的方式。,图,5-1,用带内信令的观点看,Internet,的通信子网与路由器内部结构,网络中继,relay,网络层,网络层,数据链路层,数据链路层,物理层,物理层,用户数据流,控制、管理流,三,层,平,台,图,5-2,用带外信令的观点看,Internet,的通信子网与路由器内部结构,用户数据平面,网络中继,relay,高层,:,路由协议、,SNMP+UDP/TCP,网络层,高层,:,路由协议、,SNMP+UDP/TCP,网络层,数据链,路层,数据链,路层,物,理层,物理,层,信控平台,信控平台,五层信控管理平台,带内信令控制观点可解释范围,三层用户数据平台,带外信令控制观点覆盖范围,带内信令观点无法解释部分,。,用户数据流,控制、管理流,路由器是多个多层结构互联而成的设备，是多个输入输出间的数据转发设备,，出于以下的考虑，对路由器的测试不采用分层测试：,标准化机构未对中继系统中继功能（,Relay Function,),提供任何规范，而由产品生产厂家自己决定，因而对该功能的测试缺乏依据。例如，路由器是,NN,的转发设备，与传统交换层相关的协议协议的描述为,11,关系。,尽管路由器涉及多个多层结构的实现，出于转发效率的考虑个层间界面不清晰，很难找到可直接访问的界面。,从使用者的角度，更关心中继层,PDU,实际转发效率,(,也即设备性能），因此可从设备外部进行观测。,5.2 ISO9646,定义的路由器测试方法,回绕测试法,(LTM-Loop-back Test Method),测试器,测试器,图,5-3a,回绕测试法示意图,被测路由器,（,RUT Router Under Test,）,(N)-PDU,测试器控制部件,测试支撑层（,N-1,层服务提供者）,N,层协议实现,N-,中继功能,（,N-1,）,-SAP,图,5-3b,回绕测试法控制观察点,被测路由器,(RUT),PCO,测试器,回绕测试法（,Loop-back Test Method),的利弊,优点：实施简单,缺点：测试功能不全面，只测到单个端口的自转发行为，,N,个端口设备必须分,N,次进行；且不能测试端口间的相互影响。,测试器,测试器,5-4,穿越测试法示意图,测试支撑层（,N-1,层服务提供者,),测试控制,PCO1,测试控制,PCO2,(N)-PDU,(N)-PDU,中继功能,（路径选,择）,IP,协议,IP,协议,(N-1)-SAP,(N-1)-SAP,测试器,1,测试器,2,被测路由器,测试同步手段,穿越测试法（,TTM-Transverse Test Method),穿越测试法（,Transverse Test Method),的利弊分析,优点：能够模拟路由器一对端口间的正常工作状况，包括中继功能；一对测试器在同一双端口测试系统中容易实现。,缺点：不能同时测试多个端口间的相互影响；尽管可以用多个双端口测试系统性能测试同时测试，但多个双端口测试器间的同步控制困难；现代路由器,/,交换机可能有数十，上百个端口，很难在同一系统中实现。,四川省网络通信技术重点实验室针对这一困难，提出了“路由器多端口并发穿越测试法”,(,MPC-TTM-Multi-Port Concurrent Transverse Test Method,),并正在开发,分布式多端口并发测试系统,（,DMC-TS-Distributed Multi-port Concurrent Test System,）。,5.3“,路由器多端口并发穿越测试法,”,(,MPC-TTM-Multi-Port Concurrent Transverse Test Method,),被测路由器（,RUT,）,双端口测试器,双端口测试器,双端口测试器,多端口测试管理器,发送测试命令,/,接收响应,发送测试命令,/,接收响应,发送测试命令,/,接收响应,发送测试命令,/,接收响应,发送测试任务,/,接收中间结果,发送测试任务,/,接收中间结果,发送测试任务,/,接收中间结果,MPC-TTM,的要点,多端口测试,多个测试器间可交叉穿越,由多端口测试管理器与多个分布式双端口测试系统共同组成两级测试结构，配置灵活，易扩展。,测试法以多端口并发测试为背景定义同步管理与协调机制。,5.4,分布式多端口并发测试系统,（,DMC-TS-Distributed Multi-port Concurrent Test System,）,多端口并发测试器用户接口模块,(,MPCT-UIM):,用户操作界面图形化测试过程动态显示模块,+,系统初始化模块,),多端口并发测试协调管理协议模块,MPCT-CMP,TPT,可执行测试集,/,组,/,例,(,单测试例执行器、编解码器都被联合编译后成可执行测试例的一部分。,单测试例执行器,(STCE-,Single,Test Case Executor),被测层与支撑层间的适配模块,（被测层,PDU,进行装载与卸载,）,被测层网络硬软件支撑平台,TPT,测试结果分析与测试报告生成模块,MPR-CTM,与,TPT,之间的,控制管理接口,命令、应答、显示数据、同步信息等,多端口并发测试管理软件,（,MP-CTM Multi-Port Concurrent Test Manager,）,MP-CTDL,描述的多端口测试集,/,组,/,例,MP-,CTDL,编译器,MPR-CTM,测试控制终端,发测试过程与测试结果记录，测试报告生成,测试记录数据流,操作员命令与显示数据,TPT,用户接口模块（,TPT-UIM,）,双端口,测试管理软件,（,TPT-TM,）,测试过程与测试结果记录，测试报告生成,TPT,测试控制终端,操作员命令与显示数据,被测层下界面,待记录数据,C,编译程序,TTCN-3/C,编译程序,TTCN-3,描述的抽象测试集,/,组,/,例,MPR-CTM,与,TPT,单测试例执行过程的,显示数据、同步信息等,多端口并发测试协调管理协议模块,单测试例执行模块：测试主控,测试管理（测试集,/,组,/,例静,/,动态选择）,多端口并,测试控制数据支撑工具,测试执行部件,双端口测试管理软件,(TPT-TM),MPCT-CMP,的具体实现,双端口测试器,TPT,多端口并发测试器,MPCT,单测试例执行器,(STCE,),编解码器（,E/D,）,支撑层适配模块,(,装拆被测层,PDU),TPT-TM:,路由器双端口测试管理器,A.,用户接口模块,(User Interface Module):,用户操作界面图形化测试过程动态显示模块,+,系统初始化模块,可执行测试集：,ETS Executable Test Suite+Encoder/,Decoder,B,.,测试例,/,组管理模块：,静态与动态测试例、组选择）,测试集、测试组选择,测试例选择与测试同步信息、测试例指派与分发、测试例结论,单测试例执行器（,STCE,）和编解码器（,E/D,）概念上隶属于,TPTM,但在实现上已经与测试例一道编译成可执行代码。,C.,测试结果分析与测试报告生成模块,测试支撑层协议实现：,测试,IPv6,：为,IPv4,或数据链路层,测试应用层：,UDP,信控平面与用户平面联合测试：都需要,并发测试配置命令、同步、测试中间结果,被测,PDU,流、命令流和测试结论记录。,支撑层,PDU,数据流记录模块：测试后进行分析用。,至多端口并发测试系统,抽象测试集（用,TTCN-3,语言描述）,1,、,TTCN,C,编译,2,、,C,机器代码编译,D,E,双端口测试器执行部分（,TPT-TE,）,测试集支撑工具,D.MPCT-CMP,模块,