Ch4-软件测试依据和规范.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,软件测试方法和技术,-Ch.4,软件测试依据和规范,主讲教师：郭晓燕,第三章回顾,软件质量保证,测试策略,测试计划,软件质量的可靠性评估,第四章 软件测试依据和规范,4.1,软件质量标准,4.2,软件测试相关规范,4.3 CMM,思想和结构体系,4.4,建立软件测试管理和评判体系,ISO9000,是什么,?,ISO 9000,的由来,ISO 9000,总休思想ISO 9000,体系结构,ISO,软件质量标准,ISO,(,International Standardization Organization,国际标准化组织,)TC/176,技术委员会制定的所有国际,标准,质量保证标准（,ISO9001/2/3,）,质量管理标准（,ISO9004),TC176,即,ISO,中第,176,个技术委员会，成立于,1980,年，全称是,“,质量保证技术委员会,”,，,1987,年又更名为,“,质量管理和质量保证技术委员会,”,。,TC176,专门负责制定质量管理和质量保证技术的标准,ISO,软件质量标准思想,控制思想,，即对产品形成的全过程进行控制。任何事物都是由一个或多个过程活动的结果，只要对产品形成的全过程进行控制并达到过程质量要求，最终产品的质量就有了保证,预防的思想,。通过对产品形成的全过程进行控制以及建立并有效运行自我完善机制达到预防不合格，从根本上减少或消除不合格品,ISO,软件质量标准结构,ISO9001,：设计,/,开发、生产、安装和服务中质量保证模式；,ISO9002,：生产和安装中的质量保证模式；,ISO9003,：最终检验和测试中的质量保证模式；,ISO9004,：质量管理和质量体系要素导则。,ISO9000,系列标准的主体部分分为两组：,“需方对供方要求质量保证”的标准,ISO9001,9003,“供方建立质量保证体系”的标准,ISO9004,ISO,软件质量标准结构,ISO9000,与,GB/T19000,的关系,GB/T(,国标推荐,),Idt,(,等同于,),ISO,标准,GB/T 6583-1994,idt,ISO 8402:1994,GB/T 19000.1-1994,idt,ISO 9000-1:1994,GB/T 19000.2-1994,idt,ISO 9000-2:1994,GB/T 19000.3-1994,idt,ISO 9000-3:1994,GB/T 19001-1994,idt,ISO 9001:1994,GB/T 19002-1994,idt,ISO 9002:1994,GB/T 19003-1994,idt,ISO 9003:1994,GB/T 19004.1-1994,idt,ISO 9004-1:1994,GB/T 19004.2-1994,idt,ISO 9004-2:1991,GB/T 19004.3-1994,idt,ISO 9004-3:1993,GB/T 19004.4-1994,idt,ISO 9004-4:1993,GB/T 19021.1-1993,idt,ISO 10011-1:1990,GB/T 19021.2-1993,idt,ISO 10011-2:1991,GB/T 19021.3-1993,idt,ISO 10011-3:1993,GB/T 19022.1-1994,idt,ISO 10012-1:1994,ISO9000-3,是什么,ISO9000-3,其实是,ISO,质量管理和质量保证标准在软件开发、供应和维护中的使用指南，并不作为质量体系注册,/,认证时的评估准则，主要考虑软件行业的特殊性制定。参照,ISO9001,质量体系 设计、开发、生产、安装和服务的质量保证模式,，并引用,ISO 8402,质量管理和质量保证术语,，使得,ISO9000,系列标准应用范围得以拓展,ISO9000-3,标准,软件开发、供应、维护中应用,ISO9001,的指南,是指南，不是标准,依然困惑：依然强调的是供应商和顾客的关系，不是工程师该如何做,ISO 9000-3,体系结构,合同评审,需方需求规格说明,开发计划,质量计划,设计和实现,测试和确认,验收,复制、交付和安装,维护,软件测试规范,软件测试规范就是对软件测试的流程过程化并对每一个过程元素进行明确的界定，形成完整的规范体系。,完整的软件测试规范是怎样的,规范本身的详细说明,比如规范目的、范围、文档结构、词汇表、参考信息、可追溯性、方针、过程,/,规范、指南、模板、检查表、培训、工具、参考资料等等。,制定测试规范需要考虑的内容,角色的确定,进入的准则,输入项,活动过程,输出项,验证与确认,退出的准则,度量,CMM,思想和结构体系,CMM,即软件能力成熟度模型,（,Capability Maturity Model,）是向软件组织提供如何增加对其开发和维护软件过程的控制能力。设计并实施,CMM,是为了指导软件组织：,通过确定当前过程的成熟度等级和识别出对软件质量和过程改进至关重要的问题，来选择其过程改进策略。,通过关注一组有限的活动，并为实现它们而积极工作，组织能稳步地改善其软件过程，使其软件过程能力持续不断地增长。,CMM,的历史,CMM,分阶段的体系结构源于己有,60,多年历史的产品质量原理。,ITT,的,Philip Crosby,在其书,“,Quality is Free,”,（,Crosby 79,）中首先提出将质量原理改编为成熟度框架的思想。,Humphrey,的成熟度框架早期版本发表在,SEI,技术报告（,Humphrey,87a,，,Humphrey,87b,）、文章（,Humphrey,88,）和书,“,Managing the software Process,”,（,Humphrey 89,）中。,基于CMM模型的过程改进,软件过程改进的方法论-,IDEAL,修 改 组 织 的 方 法,记 录 和 分 析 教 训,定 义 过 程 和 度 量,计 划 及 执 行 试 行 方 案,计 划，执 行 和 跟 踪 改 进 方 案,建 立 过 程 行 动 组,做 行 动 计 划,设 定 战 略 和 优 先 级,提 出 建 议 并 记 录 阶 段 成 果,评 估 当 前 实 践 情 况,改 进,动 机,确 定 改 进 范 围 以 及 获 取 支 持,建 立 改,进 机 制,诊 断,建 立,行 动,学习,初 始 化,Initiating,Diagnosing,Establishing,Acting,Learning,Six Sigma DMAIC Model,1.,IDENTIFY OPPORTUNITIES,Process Flow Analysis,SURVEY,YES,NO,A,B,C,D,Benchmarking,Pareto Analysis,2.,FORM TEAM&SCOPE PROJECT,Identify Customers,and Requirements,Tree Diagram,Establish Process,Boundaries,3.,ANALYZE CURRENT PROCESS,Analyze Available,Data,Process Flow Analysis,Check Sheet,HISTORY,CHECK SHEET,REPORT,4.,DEFINE DESIRED OUTCOMES,FOR IMPROVED PROCESS,Define Performance,Measures,Agree on Goals,GOAL,5.,IDENTIFY ROOT CAUSES&PROPOSED SOLUTIONS,Why-Why,Diagram,Brainstorming,Process Redesign,EFFECT,Cause&Effect,Diagram,Nominal Group Technique,6.,PRIORITIZE,PLAN AND TEST,PROPOSED SOLUTIONS,Design of,Experiments,C-,C-,C+,C+,90.00,83.67,77.33,71.00,64.67,58.33,52.00,A-,A+,Level Loading,PRODUCTION DAYS,A,B,C,D,1 2 3 30,Pull SystemPRIOR,OPERATION,NEXT,OPERATION,7.,REFINE AND IMPLEMENT,SOLUTIONS,Force Field Analysis,GANTT Chart,9.,ACKNOWLEDGE TEAM AND,COMMUNICATE RESULTS,Training&Procedures,Brainstorming,RECYCLE IF NECESSARY,8.,MEASURE PROGRESS&HOLD,GAINS,Trend Chart,SPC,REPORT,TEAM RESULTS,Phase,Step(s),D,efine,1&2,M,easure,3&4,A,nalyze,5,I,mprove,6&7,C,ontrol,8&9,流程改进模型,PDCA Cycle,P,lan:,What you want to accomplish over a period of time;What you might do,or need to do to get the goals,D,o:,What you planned on doing,Start on small scale,C,heck:,The results of what you did to see if the objective was achieved,A,ct:,On the information,If the result is successful,standardize the plan,If not successful,continue in the cycle to plan for further improvement,Evaluation,No perfect plan,do First,Doing is not enough,how about its results?,If has problem,how to correct it?,Then new&improved plan,CMM,的五个等级,Adapted from SEI-93-TR-24,Maturing,Disciplined,Process,Repeatable,(2),Project Mgmt system in place,performance repeatable,Standard,consistent,process,Defined,(3),SW,Engr,&Mgmt processes defined&integrated,Predictable,process,Managed,(4),Product&processes quantitatively controlled,Continuously,improving,process,Optimizing,(5),Process improvement institutionalized,Initial,(1),Process is informal and unpredictable,CMM,的五个等级及关键过程域,(,二,),不同成熟度的项目结果,Probability,Time/$/.,4,Based on quantitative understanding,of process and product,performance,continues to improve,Target,Probability,Time/$/.,3,With well-defined processes,performance improves,Target,Probability,Time/$/.,2,Plans based on past performance are,more realistic,Target,Adapted from SEI-93-TR-24,Probability,Time/$/.,1,Schedules and cost targets are,typically overrun,Target,Probability,Time/$/.,5,Target,Performance continuously improves,Distribution of actual outcomes,Target,is the initial estimated objective for a critical project parameter(e.g.,cost,delivery date,defect counts),23,关键过程域,(Key Areas),过程更改管理,*,技术更改管理,*,错误预防,*,质量管理,*,过程量化管理,*,同级评审,*,组间协作,软件产品工程,*,软件集成管理,*,培训计划,软件过程定义,*,软件过程要点,*,软件配置管理,软件质量保证,软件子合同管理,软件项目追踪与监控,*,软件项目规划,*,需求管理,II-,可重复级,III-,已定义级,IV-,已管理级,V-,优化级,CMM,的五个等级及关键过程域,(,三,),个体软件过程,PSP,的演化,个体管理基线,PSP0,并行过程,工作时间记录,程序差错记录,程序差错类型标准,个体过程循环,PSP3,循环开发,个体规划过程,PSP1,程序规模估计,测试报告,个体质量管理,PSP2,编码评审,设计评审,PSP1.1,任务规划,进度安排,PSP2,.1,设计模板,PSP0.1,编码标准,软件规模度量,过程改善建议,PSP,流程,TSP,流程,PSP-TSP,PSP-TSP-CMM,CMM,、,PSP,和,TSP,组成的软件过程框架,CMM,PSP,TSP,原则,技能,费用,期限,组织级能力,高质量的产品,个人的技能,建立,生产并交付,建立,ISO9000,与,CMM,的关系,ISO9000,相当于,CMM,二级和三级的一部分内容(有人称为2.5,级),CMM,和,ISO9000,认证本身没有优劣之分,CMM,是一个动态的过程,对于预算、项目周期管理等,ISO9000,涉及不够的内容,，,CMM,有所覆盖,ISO9000,与,CMM,的区别,ISO9001,是通用的国际标准,适用于各类组织,。,CMM,是美国军方为评价软件供应商的质量水平,委托,SEI,开发的一个评价模型,只用于软件业,。,CMM,更详细,更专业,。,ISO9001,只建立了一个可接受水平，,而,CMM,是一个具有五个水平的评估工具,。,ISO9001,聚焦于供应商和用户间的关系，而,CMM,更关注软件的开发过程。,CMM,与,ISO9001,关系,(,一,),2000,CMM,与,ISO9001,关系,(,二,),TickIT,-,欧洲的规则,是根据,ISO9001,认证软件开发组织的体系(,system,),是为软件的需要对,ISO9001,的诠释(,interpretation,),包括对审核员的表现和竞争力的一组标准要求,包括对审核员标准化培训的课程,包括审核员注册的程序(,sc,heme,),从事,TickIT,认证的认证机构的认可制度,演示,TickIT,认证的,logotype,建立软件测试管理和评判体系,测试管理与评判的必要性,软件测试的管理和评判体系发展现状,如何建立测试管理与评判体系,为什么要建立管理与评判体系,?,监视和测量软件产品,识别和控制不符合要求的产品,验证产品设计和开发,监视和测量软件过程,测试管理和评判体系发展现状,美国质量保证研究所对软件测试的研究结果表明,:,越早发现软件中存在的问题，开发费用就越低,;,在编码后修改软件缺陷的成本是编码前的,10,倍，在产品交付后修改软件缺陷的成本是交付前的,10,倍,;,软件质量越高，软件发布后的维护费用越低。另外，根据对国际著名,IT,企业的统计，它们的软件测试费用占整个软件工程所有研发费用的,50%,以上。,中国软件企业在软件测试方面与国际水准仍存在较大差距。,首先，认识上重开发、轻测试，没有认识到软件项目的如期完成不仅取决于开发人员，更取决于测试人员；其次，管理上随意、简单，没有建立有效、规范的软件测试管理和评判体系；另外，缺少自动化工具的支持，大多数企业在软件测试时并没有建立软件测试管理与评判体系。,如何建立测试管理与评判体系,测试规划,资源管理,测试设计,测试实施,配置管理,测试管理,确定目标和策略,确定测试方案及用例,执行用例,测试配置管理,资源综合调配与管理,对以上过程综合管理,Q&A,