1、硬件测试及方案定义技术精品文档课程大纲硬件测试技术硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月2005年9月硬件测试概述1、硬件测试的概念测试是为了发现错误而执行操作的过程测试是为了证明设计有错,而不是证明设计无错误一个好的测试用例是在于它能发现至今未发现的错误一个成功的测试是发现了“至今未发现的错误”的测试硬件测试概述2、硬件测试的目的测试的目的决定了如何去组织测试。如果测试的目的是为了尽可能多地找出错误,那么测试就应该直接针对设计比较复杂的部分或是以前出错比较多的位置。如果测试目
2、的是为了给最终用户提供具有一定可信度的质量评价,那么测试就应该直接针对在实际应用中会经常用到的商业假设。综合评估,决定产品的测试方向!2005年9月2005年9月收集于网络,如有侵权请联系管理员删除 硬件测试概述3、硬件测试的目标产品的零缺陷关注点:产品规格功能的实现,性能指标,可靠性,可测试性,易用性等。实现的保障:产品的零缺陷构筑于最底层的设计,源于每一个函数、每一行代码、每一部分单元电路及每一个电信号。测试就是要排除每一处故障和每一处隐患,从而构建一个零缺陷的产品。MTBF不是计算出来的,而是设计出来的。硬件测试概述4、硬件测试的意义测试并不仅仅是为了要找出错误。通过分析错误产生的原因和
3、错误的分布特征,可以帮助项目管理者发现当前设计过程的缺陷,以便改进。同时,这种分析也能帮助我们设计出有针对性地检测方法,改善测试的有效性。没有发现错误的测试也是有价值的,完整的测试是评定测试质量的一种方法。2005年9月2005年9月硬件测试概述5、目前业界硬件测试的开展状况随着质量的进一步要求,硬件测试工作在产品研发阶段的投入比例已经向测试倾斜,许多知名的国际企业,硬件测试人员的数量要远大于开发人员。而且对于硬件测试人员的技术水平要求也要大于开发人员。硬件测试概述6、硬件测试在企业价值链中的地位采购研发测试生产销售测试是每项成功产品的必经环节2005年9月2005年9月硬件测试概述7、硬件测
4、试对公司形象和公司发展的重要性硬件测试是评估产品质量的重要方法产品质量是公司的信誉和品牌象征公司的信誉和质量决定了公司的发展前景硬件测试概述8、硬件测试的一般流程和各阶段点的输出文件2005年9月2005年9月课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月测试前准备1、正规检视硬件设计审查原理图检视PCB检视发现硬件设计原理缺陷发现成本浪费问题发现降额不规范设计发现布局和布线的缺陷发现EMC等专项设计缺陷2005年9月测试前准备2、正规检视的流程检视专家的确定评审专家预检视检视
5、问题反馈整理检视会议召开检视问题确认,解决检视问题跟踪测试前准备3、FMEA(故障模式影响分析)分析系统中每一产品所有可能产生的故障模式及其对系统造成的所有可能影响,并按每一个故障模式的严重程度、检测难易程度以及发生频度予以分类的一种归纳分析方法。2005年9月2005年9月测试前准备FMEA的意义能帮助设计者和决策者从各种方案中选择满足可靠性要求的最佳方案;保证所有元器件的各种故障模式及影响都经过周密考虑;能找出对系统故障有重大影响的元器件和故障模式,并分析其影响程度;有助于在设计评审中对有关措施(如冗余措施)、检测设备等作客观的评价;测试前准备FMEA的意义(续)能为进一步定量分析提供基础
6、;能为进一步更改产品设计提供资料;能为产品可测试方案提供基础材料;能为技术支援人员提供维修指南;为基于故障模式的测试提供依据。2005年9月2005年9月测试前准备FMEA的层次信号级:对接口信号或某些特殊器件的分析器件级:对系统内功能模块的可靠性分析系统级:对系统的整体可靠性分析测试前准备严酷度在某些系统中,最终影响的严重程度等级又称为严酷度(有时也称为严重度,系指故障模式所产生后果的严重程度)类别。严重程度等级(严酷度类别)定义应考虑到故障所造成的最坏的潜在后果来确定。严酷度的定义是FMEA的前提和基础,有了共识的严酷度才可以保证FMEA的顺利开展和问题的落实。2005年9月2005年9月
7、测试前准备功能和可靠性框图测试前准备2005年9月2005年9月测试前准备环境定义测试前准备风险分析风险分析的目的是按每一故障模式的严重程度及该故障模式发生的概率所产生的综合影响对系统中的产品划等分类,以便全面评价系统中各种可能出现的产品故障的影响,它是一种相对定量的分析方法,通常借助图形工具(如矩阵图)来辅助分析。风险分析常用的方法有两种,即风险优先数(Risk PriorityNumber,RPN)法和危害性分析(Criticality Analysis)法前者主要用于汽车等民用工业领域,后者主要用于航空、航天等军用领域。在进行风险分析时可根据具体情况选择一种方法。2005年9月2005年
8、9月测试前准备FMEA分析步骤和要点确定范围确定功能失效模式潜在影响严酷度分类潜在原因发生频度控制措施探测率RPN整改措施如何定义严酷度分类:对操作者危害最高失效概率:每小时,每班次,每天,每星期。潜在影响:停机:损坏,装备与调整,试机损失报废:缺陷部件,工具类安全:找原因:1以前FMEA 分析2失效日志3接口矩阵(物理干涉,能量传递,物 流,信息转移)4保证书5专题研究报告6测试报告7现场服务报告测试前准备FMEA分析表格编号器件 所属 失名称 功能 效 单元 率失效 失效 局部 对功 对系 严模式 比例 影响 能单 统的 酷 元的 最终 度 影响 影响已有的检测方法已有 建议 备的补 改进
9、 注偿措 措施施2005年9月2005年9月测试前准备4、故障处理故障检测故障定位故障隔离故障恢复测试前准备故障检测故障检测是指明确到故障已经发生的过程,是故障处理流程的前提。这里提到的检测一般是指系统在故障发生后的自动的检测,一般不需要人进行操作。在进行故障检测的时候需要结合软、硬件故障检测方法。某些故障可能需要多次检测确认,避免进行误告警和误操作2005年9月2005年9月测试前准备故障定位故障定位是指将故障定位到现场最小可更换单元的过程,是故障维修的基础。故障定位的目的是为了便于维修工程人员进行现场的故障维修和返修件的故障处理。测试前准备故障隔离故障隔离一般是将故障限定到可更换单元内部的
10、过程。故障隔离的目标是将故障能够限定在越小的功能单元。故障隔离是为了将故障的影响范围限制在尽可能小的范围之内。故障是无法避免的,如何将故障产生的影响降到最低,是故障隔离所要考虑的关键。2005年9月2005年9月测试前准备故障恢复故障恢复是将系统的功能状态恢复到故障发生前状态的过程,是客户最关心的也是系统稳定运行的关键步骤。常用的故障恢复手段有复位、冗余倒换、重发等。故障恢复尽量需要做到自动进行,以降低对用户的影响。测试前准备5、测试计划描述该测试计划所应达到的目标如下(可依据项目的实际要求做适当调整):所有测试需求都已被标识出来;测试的工作量已被正确估计并合理地分配了人力、物力资源;测试的进
11、度安排是基于工作量估计的、适用的;测试启动、停止的准则已被标识;测试输出的工作产品是已标识的、受控的和适用的。2005年9月2005年9月测试前准备测试计划的内容测试计划一般应该包含一下的内容:测试对象,明确版本,范围,任务划分角色和职责测试和不被测试的特性原因测试通过与否的标准测试任务安排测试结束的交付件工作量评估测试前准备6、测试用例测试用例更多的是需要描述测试方法,测试步骤,测试的预期效果,需要达到的指标。需要更加详细的对每一条测试项目进行描述。测试用例是直接用来指导测试的,所以对测试项目的描述需要更具体,更便于参考操作。2005年9月2005年9月测试前准备测试用例的一般格式测试用例编
12、号测试项目(模块或单元)测试子项目(子项目描述)测试级别(必测、选测、可测)测试条件(环境、仪器等相关要求)测试步骤和方法(具体细致的操作方法)应达到的指标和预期效果备注测试前准备7、测试需求的来源一切测试的需求都来自于产品设计的规格,规格来自于用户的需求。因此我们的测试是针对产品规格的测试。具体可以从以下几方面进行考虑:产品设计功能根据功能的实现,分别对实现该功能的各个环节进行测试,从硬件、单板软件、高层软件到用户界面,只有各个环节都畅通无阻,才能保证该功能的正常实现。可靠性备份、倒换、插拔、互助、自愈等2005年9月2005年9月测试前准备测试需求的来源(续)指标性能需求指标包括电接口指标
13、、光接口指标、时钟指标、传输指标和指标容差,指标一般都有相关的标准可查。性能一般可从容量、处理能力、容限等方面去考虑,一般是测试异常输入条件下的单元、模块、系统处理情况。性能测试的异常条件主要是指边界条件、异常条件及故障相关性。组网组网需求:电信网组网、异种厂商的互联测试前准备测试需求的来源(续)应用环境应用环境一般可从以下几个方面考虑:高温、低温、高低温交变、盐雾、湿热、防尘接地、电源、震动、冲击、存储、运输电磁兼容性断电恢复性2005年9月2005年9月课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测
14、试人员的培养2005年9月硬件测试的种类与操作1、测试设计测试并不是简单意义上的一些测试操作,在测试前需要有详细的设计,周密的策划,测试是一项高难度的工作。测试设计概念的范围很广,大致可以分为以下几类:设计测试平台,用此测试平台能进行通用项目的测试,或是进行能用此测试平台作一类测试。设计测试工具,设计测试软件。设计测试装备。设计测试用例,测试方法。2005年9月硬件测试的种类与操作测试设计的好处良好的测试设计和有效测试工具可减少重复低效的劳动有效地开发利用测试工具可使测试更深入、更全面有些复杂的测试只能依靠测试工具进行自动测试在测试中经常进行测试设计是提升技术水平的有效手段我们在做测试工作时,
15、不能因循守旧,需要时刻考虑如何改进我们的测试效果,提高我们的测试效率,在测试点上进行深入研究,开发测试工具,最终使我们的所有点的测试达到自动化。硬件测试的种类与操作良好的测试设计同样也是节约测试成本的手段现在的测试工作中,经常会遇到一些无法在实验室模拟的情况,可能在实际现场也无法模拟,并且如果要模拟所花的代价很大,如满配置、最大负荷的情况,而这些项目的测试通过与否是检验系统性能的重要手段。这个测试任务便给我们提出了编写测试软件模拟大负荷情况的要求。不但实现和自动化,而且大幅度的节约了成本。2005年9月2005年9月硬件测试的种类与操作2、基础指标测试信号质量测试基本的信号质量测试是通过测试单
16、板上的各种信号质量,根据信号种类的不同,用不同的指标来衡量信号质量的好坏,并对信号质量的分析,发现系统设计中的不足。开发人员根据已有的信号质量和时序调试和测试方面的规范和指导书,在单板调试阶段完成对单板信号质量的全面测试并完整记录结果。测试仪器示波器硬件测试的种类与操作时序测试对板内信号时序进行调试,验证信号实际时序关系是否可靠,是否满足器件要求和设计要求;分析设计余量,评价单板工作可靠性。开发人员根据已有的信号质量和时序调试和测试方面的规范和指导书,在单板调试阶段完成对单板时序(包括逻辑外部时序)的全面调试和测试。测试仪器示波器,逻辑分析仪2005年9月2005年9月硬件测试的种类与操作3、
17、功能测试功能测试是根据硬件详细设计报告中提及的功能规格进行测试,验证设计是否满足要求。功能测试是系统功能实现的基本,是需要严格保证测试通过率的。如被测对象与其规格说明、总体/详细设计文档之间存在任何差异的均需要详细描述。一般包含,电源、CPU、逻辑、复位、倒换、监控、时钟、业务等。硬件测试的种类与操作4、性能测试容限测试指使系统正常工作的输入允许变化范围。容限测试的目的是通过测试明确知道我们的设备到底在什么样的条件范围下能够正常工作,薄弱环节到底在哪里。能否发现和验证器件降额的问题,系统工作允许范围内的临界点上的性能。2005年9月2005年9月硬件测试的种类与操作5、容错测试FIT指通过冗余
18、设计等手段避免、减小某些故障对系统造成的影响以及在外部异常条件恢复后系统能够自动恢复正常的能力。容错测试的目的是要检验系统对异常情况是否有足够的保护,是否会由于某些异常条件造成故障不能自动恢复的严重后果。容错测试的一般方法就是采用故障插入的方式,模拟一些在产品使用过程中可能会产生的故障因素,进而考察产品的可靠性及故障处理能力的一种测试方法。硬件测试的种类与操作5、容错测试FIT容错测试项目的来源主要是通过FMEA获得,是验证FMEA分析结果的一种手段。而且某些通过FMEA分析无法准确获得结论的项目也要通过FIT来进行模拟。容错测试还包括的另外一个主要内容就是操作方面的,主要模拟在用户使用不当的
19、时候系统的容忍错误的能力。2005年9月2005年9月硬件测试的种类与操作5、容错测试FIT容错测试一般允许出现一些功能异常,但是不能出现功能丧失或故障扩散等严重的安全隐患。常用的故障插入测试方法有时钟拉偏、误码插入、电源加扰等,常用测试工具有些是专用的,有些是内部开发的。通过容错测试,还可以确定在产品的实际应用过程中哪些错是易产生的,哪些错是可以避免的,以尽量减少损失。硬件测试的种类与操作6、长时间验证测试由于电子类产品很多是需要长时间运行的,所以进行长时间的验证测试是很有必要的某些器件应用不当的设计,更容易在长时间的运行中,才会显露出来。系统的散热能力也只有在长时间的大功率运行时才容易暴露
20、。长时间的运行才容易发生某些被忽略的偶然因素,容易发现某些潜在问题。2005年9月2005年9月硬件测试的种类与操作6、长时间验证测试长时间测试不仅对于系统而言,在进行单元测试和集成测试时,对于每一个功能模块均需要进行长时间的功能验证。长时间的验证具体的时间把握同产品的实际使用情况相关,对于通信产品系统,一般建议测试时间要达到一星期。对于每一个功能模块的时间要求一般要达到两天。硬件测试的种类与操作7、一致性测试一致性测试是指将不同批次的产品分别取样,进行测试验证,考察产品功能和性能方面的一致性的测试为了验证不同生产批次的产品质量和不同批次器件的质量,是否具有较高的一致性,是否能够满足产品的功能
21、和使用条件要求。2005年9月2005年9月硬件测试的种类与操作7、一致性测试测试要点测试至少要包含3次活以上不同器件批次和生产批次的产品测试项目要包含所有的功能测试项目,和重要的信号质量和时序等项目重点需要验证长时间的稳定性是否一致如果具备条件,需要验证在环境条件变化时(如高温环境),各样品的一致性能。硬件测试的种类与操作8、可靠性数预计这里的可靠性数据一般包含MTBF(平均故障间隔时间)、MTTR(平均修复时间)、失效率、可用度、返修率等。可靠性数据预计的基础是FMEA分析,通过分析获得。2005年9月2005年9月硬件测试的种类与操作可用度(A-availability):产品在一未知时
22、刻,需要执行任务时,处于可工作或可使用状态的概率。硬件测试的种类与操作平均拆卸间隔时间(MTBR-mean time between removals)系统寿命单位总数与从该系统上拆下的产品总次数之比。平均修复时间(MTTR-mean time to repair):是在规定的时间内,修复性维修所造成的累积工作时间除以在同一时间内所完成的修复维修活动总数得到的结果。拆卸时间定位时间修理时间安装时间平均故障间隔时间(MTBF-mean time between failure):指相邻失效间隔工作时间的平均值。平均失效前时间(MTTF-mean time to failure) :表示观察到下次
23、失效的期望的时间。2005年9月2005年9月硬件测试的种类与操作可靠度R(t):硬件测试的种类与操作可用度A(Availability)产品工作时间与总时间之比。若不考虑产品的储存时间和闲置时间,则 : A=MTBF/(MTBFMTTR)在规定的条件下,规定的时间内,完成规定功能的概率。失效率()失效率1/MTBF单位Fits1Fits1109 1/h可用度A可靠性维修性2005年9月2005年9月硬件测试的种类与操作返修率年返修率1/MTBF8760硬件测试的种类与操作练习系统M的器件使用情况如下表,请计算M的MTBF,A和年返修率注:MTTR=1小时器件种类电阻电容电感接插件集成电路其他
24、器件数量150200253510单个器件失效率(单位:Fits)226504001002005年9月2005年9月硬件测试的种类与操作器件种类电阻电容电感接插件集成电路其他总计器件数量150200253510单个器件失效率(单位:Fits)22650400100失效率总和300400150150200010004000课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月MTBF=1/4000 109 =250000小时28.54年A250000/(2500001)99.9996%返修
25、率1/25000087603.52005年9月硬件测试的级别1、黑盒测试与白盒测试黑盒测试注重于测试功能性需求,将测试对象看成一黑盒,对外只有输入、输出。设计黑盒测试用例只对于表现在外接口的各种输入,对不同的输入,测试其表现出来的输出,从而达到测试功能的目的。白盒测试主要测试模块内部的逻辑细节,各个独立的逻辑路径,黑盒测试不管多么全面,都可能忽略这些错误。设计白盒测试用例需要构造到信号、逻辑或消息级。硬件测试的级别具体测试时结合使用白盒测试与黑盒测试各有优势,设计测试用例时应结合使用举例:对于开关电的测试,一般采用黑盒测试,设计的测试用例为:快速上、下电,频繁上、下电等;对于时钟电路、锁相环等
26、的测试,就需要设计白盒测试用例,如锁相范围、静态相差、固有抖动、抖动容限等。2005年9月2005年9月硬件测试的级别2、测试的级别硬件测试按照系统的复杂程度,一般分为:单元测试针对独立功能单元的测试集成测试针对具有一定集成度的功能子系统的测试系统测试针对完整的系统整体的测试硬件测试的级别分层测试的行为方式测试不能仅仅在一个层次进行,而是应该打破层次之间的界限问题出现较多的地方一般都是在层与层之间的配合上,如硬件逻辑与单板软件的配合,单板软件与高层软件的配合。按照子系统来划分是打破物理层次的较好的方法。如一个系统中的时钟系统,它可能与系统中的各块单板都相关,并可能贯穿高层软件、底层软件及硬件。
27、对这个时钟系统测试需要将其首先划分为各个子模块,对各模块进行测试,然后将其贯穿为整个时钟系统进行测试2005年9月2005年9月硬件测试的级别3、测试项目的等级划分表明该用例的重要性。用例的重要性并不对应用例可能造成的后果,而是对应用例的基本程度,一个可能导致死机的用例未必是高级别的,因为其触发条件可能相当生僻。测试用例的级别分4级:级别“1”:基本。该类用例涉及系统基本功能,用于版本提交时作为“版本通过准则”。如存在不通过的项目时可考虑重新提交版本。级别“2”:重要。该类用例涉及单个版本特性,例如某新业务的使用情况,可定义为2级用例。2级用例所对应的问题可作为重要或一般问题提交问题报告单,视
28、具体情况决定是否进行更高级别的反馈。硬件测试的级别测试项目的等级划分(续)级别“3”:详细。该类用例仅影响某单项功能的某一细节方面。例如某新业务的登记和使用正常,但和另一个新业务发生不应有的冲突。有关性能、极限等方面的测试可归入3级用例。有关用户界面的基本规范等方面的测试可归入3级用例。级别“4”:生僻。该类用例对应较生僻的预置条件和数据设置。虽然某些测试用例发现过较严重的错误,但是那些用例的触发条件非常特殊,仍然应该被置入4级用例中。 有关用户界面的优化等方面的测试可归入4级用例。2005年9月2005年9月课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解
29、决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月可靠性测试1、EMC电磁兼容性电磁骚扰测试 辐射骚扰测试(RE) 传导骚扰测试(CE) 谐波电流骚扰测试(Harmonic) 电压波动与闪烁测试(Fluctuctions and flicker)2005年9月可靠性测试EMC电磁兼容性电磁敏感度测试 射频电磁场辐射抗扰度测试(RS) 传导骚扰抗扰度测试(CS) 电快速瞬变脉冲群抗扰度测试(EFT/B) 静电放电抗扰度测试(ESD) 电压跌落、短时中断抗扰度测试(DIP/interruption) 工频磁场抗扰度测试(PMS) 浪涌抗扰度测试(SURGE)可靠性测试
30、EMC电磁兼容性 电力线感应测试 电力线接触测试2005年9月2005年9月可靠性测试2、安规输入测试耐压测试接地连续性测试元件异常测试TNV电路和地的隔离测试电容放电测试TNV电路和其它电路的隔离测试温升测试接触电流测试异常温升测试激光辐射测试TNV电路电压测试单板安规审查可靠性测试3、环境试验一般电子类产品涉及的环境测试有以下种类:气候类低温贮存低温工作热测试交变湿热高温极限试验高温贮存高温工作温度循环低温极限试验噪声测试2005年9月2005年9月可靠性测试环境试验机械振动类包装随机震动试验包装跌落模拟包装运输试验随机振动工作正弦震动地震试验包装碰撞试验包装冲击实地跑车冲击试验工作冲击试
31、验可靠性测试环境试验注意事项整个系统根据实际情况进行接地,否则不能模拟实际使用情况。保持测试仪器的良好接地,以保证测试人员安全。对于耐受性测试,试验工程师必须在试验现场看守,以防止试验故障导致的意外事故。并且必须在试验区加危险警告标识。2005年9月2005年9月可靠性测试环境试验时产品工程师的职责完成测试计划中产品功能部分的描述。准备和搭建系统的工作环境。协助制定试验判据。对测试不通过项提出解决措施并实施。每天试验结束后切断系统的电源,并清理试验场地的环境。试验结束后清理实验环境。可靠性测试环境试验时环境工程师的职责完成测试计划中测试项部分的描述。准备和搭建EUT的测试环境。和产品工程师制定
32、试验判据。操作试验仪器。对测试不通过项提出解决措施,并协助产品工程师实施。给出实验结果判断并输出实验报告。创建测试计划和测试报告评审及归档。2005年9月2005年9月可靠性测试4、HALTHALT(Highly Accelerated Life Test)的全称是高加速寿命试验,是一种试验方法(思想),采用的环境应力比加速试验更加严酷。主要应用于产品开发阶段,它能以较短的时间促使产品的设计和工艺缺陷暴露出来,从而为我们做设计改进,提升产品可靠性提供依据。可靠性测试HALT的基本特点试验前无法给定环境应力值;无依据标准;以加速暴露缺陷为目的;直接有助于提高产品可靠性;结论是发现的缺陷和改进方法
33、。2005年9月2005年9月可靠性测试HALT试验的优点试验时间短;相对可靠性鉴定试验费用更低;效果明显,快速发现设计和工艺的局限性;缩短开发时间和费用;评估产品更改的有力支撑工程工具可靠性测试HALT试验施加的应力和顺序一、温度步进应力低温步进应力高温步进应力二、快速温度循环应力三、振动步进应力四、组合环境应力2005年9月2005年9月可靠性测试HALT试验失效发生处理方式暂停试验,记录失效模式和应力水平采用适当的隔离方法定位失效部分记录失效位置分析根本失效原因(可能需进行深入的调查和失效分析)进行暂时性修复继续HALT暴露其它问题课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测
34、试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月2005年9月测试问题解决1、测试问题的危害确认站在用户的角度看待测试问题,小问题也是问题。产品的最终使用者是用户对于一个疑点是否属于问题,最有发言权的是用户测试工程师应该站在用户的角度来看待每一个小问题,假设用户看到问题表现后的反应测试问题解决2、测试问题的界别划分致命:引起系统死机或系统崩溃的问题严重:引起系统某一功能失效且不能简单恢复(如插拔单板)的问题一般:引起系统某一功能失效但可简单恢复或较难重现的问题提示:从操作或维护的角度发现的问题或建议2005年9月2005年9月测试问题
35、解决3、测试问题的种类确认可重现问题每次重现(每次测试故障现象均会重复发生的问题)偶尔重现(不定期出现的问题,暂时没有发现触发条件)不可重现问题问题只出现过一次,在后续的测试过程中没有再次发生测试问题解决4、测试问题的定位定位方法自动定位系统通过自动检测等手段,可以直接产生相关告警人为定位指通过人的现场观察或是借助一定的测试手段可以即可定位。不可定位指在现场无法定位,需要借助专用的测试工具,或是专业的人员才有可能定位的问题恢复方式自动恢复、手动恢复、不可恢复(定义参考定位方法)2005年9月2005年9月测试问题解决5、测试问题反馈方式和注意事项测试工程师发现的任何问题都应该以问题反馈单的形式
36、反馈尽量不要测试人员直接协调开发人员解决问题,如果是为了保留测试环境或解决某些难以重现的问题,可以先通知开发人员了解故障现象,同时需要尽快补交问题反馈单。问题反馈时应尽量将故障现象、触发条件、环境因素、组网情况等信息描述清楚,以便问题的处理养成保留现场的习惯。测试问题解决6、测试问题跟踪和解决流程测试工程师提交问题反馈单测试经理审批,并转给相应处理部门经理受理部门经理审批,转给开发工程师处理开发工程师处理问题,并返还受理部门经理审批返还测试经理审批测试经理返回测试工程师测试工程师回归测试2005年9月2005年9月测试问题解决问题反馈注意事项流程中间的任何环节都可以通过正当的理由返回上一级处理
37、禁止跨流程,跨人员审批每个环节都应该有相应的时间要求,不允许无故拖延时间测试人员在进行回归测试时要严格把关,问题处理流程不可以随便关闭流程处理过程中对事不对人,要按照事实说话问题报告单应该最为测试人员测试绩效考核的一部分课程大纲硬件测试概述测试前准备硬件测试的种类与操作硬件测试的级别可靠性测试测试问题解决测试效果评估硬件测试参考的通信技术标准测试规范制定测试人员的培养2005年9月2005年9月测试效果评估1、测试报告测试报告一般需要包含以下内容:测试时间、地点、人员测试环境测试数据统计 测试人员等工作量统计 测试项目通过情况统计 缺陷统计 覆盖率统计测试效果评估测试评估 测试活动评估总结经验
38、教训,评估工作量 测试对象评估给出被测对象的的客观评价 测试设计评估描述对测试设计的改进建议和理由遗留问题2005年9月2005年9月测试效果评估2、评审评审角色开发工程师评审前需要提供相关的设计文档总体设计方案、详细设计报告评审会议做简单的原理和功能介绍评审完成后,根据评审会议确认的问题做相应的更改测试效果评估2、评审评审角色硬件项目经理明确设计责任,将评审会议确定的问题按照指责分配给相关的责任人公开评审会完成后,确认并保证会议上的问题做了妥善解决2005年9月2005年9月测试效果评估2、评审评审角色硬件测试工程师介绍测试过程和采用的测试方法阐述测试过程发现的问题详细描述测试问题发生的条件
39、,问题现象整理汇总测试问题,出具测试报告评审会议结束后,跟踪问题的后续解决情况,进行回归测试测试效果评估2、评审评审角色硬件项目经理对测试问题进行确认组织评审会议确定评审专家汇总评审意见不放过任何一个可能的问题,站在测试的立场坚持一切可能的问题,不随便放过一个可能存在的问题,为测试工程师撑腰2005年9月2005年9月测试效果评估2、评审评审角色评审专家在问题后续阶段结束时,即本次评审完成时,将评审结果归档正确归档组织者和开发者提供的归档资料测试效果评估2、评审评审角色归档员提前一天反馈评审意见对测试问题进行确认准时参加评审会议,提出有针对性,有价值的评审意见给出问题的建议解决方法2005年9
40、月2005年9月测试效果评估2、评审评审原则开发和测试人员介绍长度10-20分钟为宜,评审人员只听,不要打断设计人员介绍。资料袋下发到评审专家不少于5个小时所有的评审人员都必须要参加,如有特殊情况,要指定同等资历的专家加入评审需要建立打分机制,根据评审专家的意见数量和质量进行打分,分数同评审专家的任职资格和考评相结合测试效果评估2、评审评审效果测试问题得到及时的解决产品质量得到提高测试问题和经验得到收集和积累为后续类似产品提供测试等经验2005年9月2005年9月测试效果评估3、经验的总结测试经验总结是我们共同的财富,也是我们提高自身的手段。经验总结的形式:审查规范测试规范checklist案
41、例技术报告总结可避免重复劳动,平时工作中需要有总结的意识。测试效果评估4、测试经验的获取从测试过程中获取直接印象深刻深入正确程度?从问题攻关中获取直接印象深刻深入数量少从他人的经验总结中获取较深入数量大间接大量的经验应来自于获取他人的测试经验并加以自己实践的验证,从而加深印象,成为自己的经验。2005年9月2005年9月测试效果评估如何增长测试经验测试过程中深入分析,挖掘到本质积极参与问题攻关多从网上获取他人经验多与他人进行技术交流参与测试技术的开发增长测试经验即提高技术能力,优秀的测试工程师肯定可以是优秀的开发工程师。测试效果评估5、遗留问题处理遗留问题是指测试过程中发生的并且在测试报告时仍
42、没有得到解决的测试问题。测试报告时已经得到解决,并已经过回归验证的测试问题不记入其中。遗留问题的划分需要非常谨慎,必须是长时间无法重现的问题,或者由于某些特定的因素(成本等),且问题并不严重的才可以通过流程中各环节人员的认可被列为遗留问题。遗留问题需要定时跟踪清理,且对于一款产品需要制定一个遗留问题的数量限制。2005年9月2005年9月测试效果评估遗留问题处理即使是遗留问题也要明确跟踪的责任人遗留问题是可以在后续被重新激活的,一旦问题重现或者条件允许,需要重新激活解决测试效果评估6、市场规模应用跟踪产品推向市场后需要持续跟踪产品的质量问题,并建立相应的流程,所有在市场上出现的问题必须有专人跟踪,并对照测试报告,以确定是否是试验室出现过的问题,分清问题种类:器件品质问题、遗留问题、发现但未解决问题、未发现问题。并明确原因,对于各类问题要明确责任人,尽量避免实验室漏测,并同相关人员的绩效考核建立关系。2005年9月2005年9月测试效果评估7、测试覆盖率统计