系统测试方法.pptx

360。企业管理信息化解决方案提供商赛意信息科技有限公司 白金級合作伙伴 系统测试讲师：郭雪瑶日期：2015-3-24360。企业管理信息化解决方案提供商系统测试1系统测试的介绍、主要内容3452系统测试过程系统测试文档的结构及要求基本的测试工具系统测试实例360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试系统测试简称ST（System Testing），但在华为系统测试期间还包含了集成（Integration）测试，所以一般称为SIT华为在系统测试期间，明确标明以质量红线为验收标准，质量红线包含：功能测试、安全测试、易用性测试、性能测试这几大块用户的需求可以分为功能性需求功能性需求和非功能性需求非功能性需求，而非功能性的需求被归纳为软件产品的各种质量特性，如安全性、兼容性和可靠性等360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试主要内容v功能测试功能测试需求验证需求验证恢复性测试（灾难测恢复性测试（灾难测 试、容错测试）试、容错测试）接口测试接口测试安装安装/升级测试升级测试配置测试配置测试/兼容性测试兼容性测试国际化（语言）测试国际化（语言）测试用户文档测试用户文档测试v性能测试性能测试v安全性测试安全性测试v易用性测试易用性测试v冒烟测试冒烟测试v回归测试回归测试v随机测试随机测试v硬件系统专有测试硬件系统专有测试可靠性试验可靠性试验可生产性测试可生产性测试可维护性测试可维护性测试360。企业管理信息化解决方案提供商2024/8/8 周四周四性能测试v为了验证系统是否达到用户提出的性能指标，同时发现系统中存在的性能瓶颈，起到优化系统的目的v在正常、峰值以及异常负载条件下，测试系统的各项性能指标360。企业管理信息化解决方案提供商2024/8/8 周四周四配置（兼容性）测试v主要包括组网测试和软硬件平台配置测试组网测试的目的是测试系统是否满足其需求中所支持的所有组网类型和组网规模软硬件平台配置测试的目的是测试系统是否满足其需求中所支持的不同软硬件平台配置。兼容性测试是指系统的适应能力测试，可分为环境兼容测试和版本兼容测试。360。企业管理信息化解决方案提供商2024/8/8 周四周四安全测试v安全测试就是检查系统对于外部的非法侵入的抵御能力。系统安全测试的准则是，测试非法侵入的代价是否超过被保护信息的价值。v信息安全与保密（Security）不同于人身安全和重大财产损失（Safety）。在公司的产品研发中，需要重点考虑的是信息安全方面随着ISO 14000/18000的实施，这方面的内容会增多360。企业管理信息化解决方案提供商2024/8/8 周四周四华为安全测试主要关注点v主要方法：SQL注入测试权限测试脚本注入测试跨目录测试隐通道测试常见故障系统缓冲区溢出、堆栈溢出错误。系统存在密码安全、权限管理、数据安全方面的漏洞，可被轻易的进入并进行非法获取和破坏。360。企业管理信息化解决方案提供商2024/8/8 周四周四恢复性测试v检查系统的容错能力，测试系统在遇到系统崩溃、硬件损坏或其他灾难性问题后能否很好地恢复，测试的具体内容包括创建各种可能的灾难状况，测试系统从异常状态恢复到正常状态所需的时间、花费的代价、对周边设备和系统造成的影响，系统恢复的完整性和一致性等。v常用方法：主要是制造系统异常，按系统恢复功能进行恢复操作，直至系统继续正常运行为了测试系统恢复之后是否运行正常，也可以采用一些自化测试工具进行回归测试，以提高测试的效率。360。企业管理信息化解决方案提供商2024/8/8 周四周四恢复性测试v常见故障系统发生异常后无法恢复，造成系统数据被破坏，即重启系统、恢复备份数据也不可行，严重的可能造成系统硬件故障；系统恢复时间过长、代价过高；系统不能完全恢复到原来的正常状态，造成一定损失；系统恢复过程对周边设备和环境造成较大影响，无法消除，等。360。企业管理信息化解决方案提供商2024/8/8 周四周四易用性测试v随着华为对用户体验度的重点关注，每个系统上线后产生的事件数作为了易用性评判的主要依据v以用户的角度来对软件界面的易用性、风格、合理性等面进行评估和测试。通常包括软件的“界面显示测试”和“界面功能测试”，而界面功能测试主要结合系统功能进行测试。360。企业管理信息化解决方案提供商2024/8/8 周四周四易用性测试v测试要点和常见故障：易用性与合理性：步骤繁琐的操作，比例不协调、摆放凌乱的窗口和控件，层次过多的子窗口和菜单规范性：不符合Windows规范的控件设计，与常规Windows操作不符的流程与操作等容错性：编辑控件对非法字符、超出边界值的输入处理不当或没有提示，容易造成系统重启、数据删除丢失等的操作没有提示等帮助：无帮助信息提供，或者不提供获取帮助的快捷操作美观与风格：界面颜色不协调、界面风格与公司相关产品风格不符、与业界通用风格不符，图片、图标等不符合公司CI规范。资源：界面长时间运行操作造成系统内存耗尽、界面对系统资源独占使用等360。企业管理信息化解决方案提供商2024/8/8 周四周四安装升级测试v安装升级测试是以最终用户的角度测试系统的可安装性以及系统是否具有升级或卸载功能。安装升级测试，需要重点测试系统的软硬件平台的兼容性。v主要内容：安装升级基本功能测试卸载测试(可选)平台兼容性易用性与合理性测试健壮性测试360。企业管理信息化解决方案提供商2024/8/8 周四周四安装升级测试v常用工具：通常手工进行。可借助录制回放工具进行反复的软件安装测试。v常见故障：系统的软硬件不能兼容。系统软件在不同的平台下安装后不能正常工作。系统版本升级后，无法正常工作，系统无法回退到升级前的版本。系统的硬件安装不符合用户习惯。系统的软硬件安装升级过程和用户文档上的叙述不一致，甚至错误，误导最终用户360。企业管理信息化解决方案提供商2024/8/8 周四周四文档/帮助测试v各种用户文档和联机帮助系统是软件产品的重要组成部分，保证其正确性也是软件测试工程师的职责。文档/帮助测试的目的在于：提高易用性，使软件用户更容易地学习和使用软件产品。提高可靠性，如果用户阅读文档，然后使用软件，最终得不到预期结果，这就是可靠性差。降低支持费用，好的文档/帮助通过恰当的解释和引导可以在用户有麻烦或者遇到意外情况时减少请求公司帮助360。企业管理信息化解决方案提供商2024/8/8 周四周四文档/帮助测试v从用户的角度来测试软件文档是非常有效的方法。仔细阅读，跟随每个步骤，检查每个图形，尝试每个示例。利用这个现实的简单方法，可以找出软件和文档中的缺陷。常用的方法有：评审和审查，检查文档的编辑清晰性。动态测试，结合实际程序的使用而使用文档。让独立的第三方（如用户）或其他人员(如以前没有接触或使用过本系统的新手)在程序的使用语境测试文档也是十分有效的方法。360。企业管理信息化解决方案提供商2024/8/8 周四周四冒烟测试v也称为构建验证测试（BVT，Build Verification Test）v测试被测系统是否具有基本运行功能，如启动、加载、执行基本操作等。v常与每日构建相结合，作为集成测试的一个重要部分v在系统测试中用作入口检查v 通常需要自动化工具v常见故障被测系统无法启动和加载；被测系统无法启动和加载；基本功能出现故障；基本功能出现故障；自动化测试无法正确执行。自动化测试无法正确执行。360。企业管理信息化解决方案提供商2024/8/8 周四周四回归（Regressive）测试v对系统的新增功能和以前测试中已经测试过无故障的相关功能进行验证，以保证新增功能和/或对旧有故障的修改不会在被测系统中引入新的故障，其测试范围和规模介于完整测试和简单的故障验证测试之间。v需要根据新增/修改功能的波及范围精心选择和设计测试范围与测试用例v 尽量采用自动化测试工具360。企业管理信息化解决方案提供商2024/8/8 周四周四随机（Ad-hoc）测试v俗称“猴子”测试v最好由用户代表进行v公司内部可结合新员工/工程/客服人员培训进行v应该有适当的组织和计划360。企业管理信息化解决方案提供商2024/8/8 周四周四2系统测试的介绍、主要内容3451系统测试过程系统测试文档的结构及要求基本的测试工具系统测试实例360。企业管理信息化解决方案提供商2024/8/8 周四周四项目周期中的系统测试阶段划分v系统测试计划阶段系统测试计划阶段v系统测试设计和编写阶段系统测试设计和编写阶段v系统测试执行和评估阶段系统测试执行和评估阶段测试计划测试计划用例设计用例设计评估评估执行执行360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试计划阶段主要活动v制定系统测试总体计划制定系统测试总体计划简述项目，明确测试的范围简述项目，明确测试的范围定义测试策略（阶段、类型、技术、标准等）定义测试策略（阶段、类型、技术、标准等）编制测试需求编制测试需求工作分解和估算工作分解和估算资源分配资源分配进度表进度表风险识别与应对风险识别与应对v系统测试总体计划评审系统测试总体计划评审v批准系统测试总体计划批准系统测试总体计划v系统测试总体计划纳入配置管理系统测试总体计划纳入配置管理360。企业管理信息化解决方案提供商系统测试方案设计建立需求跟踪矩阵系统测试用例设计编写系统测试用例评审系统测试设计阶段主要活动360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试设计和执行阶段常见风险v不做测试设计，或测试过程并未系统测试不做测试设计，或测试过程并未系统测试总体计划的要求来做。总体计划的要求来做。v测试设计不详细，不是基于可量度的测试测试设计不详细，不是基于可量度的测试策略，例如测试计划覆盖一个集合或者测策略，例如测试计划覆盖一个集合或者测试需求的一个子集。试需求的一个子集。v测试过程没有检验测试需求。测试过程没有检验测试需求。v测试总体计划中测试策略没有对应性。测试总体计划中测试策略没有对应性。v测试过程不可重复或不可重用。测试过程不可重复或不可重用。360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试设计和执行阶段常用度量v 需求覆盖率（百分比）需求覆盖率（百分比）测试覆盖的需测试覆盖的需求求/所有的需求所有的需求 100%；v测试用例的数量（条）；测试用例的数量（条）；v自动化测试在系统测试中的比例（百分比）自动化测试在系统测试中的比例（百分比）采用自动化测试的系统测试用例数目采用自动化测试的系统测试用例数目/全部的测试用例总数全部的测试用例总数100%；v测试用例设计和开发的工作量（人时）；测试用例设计和开发的工作量（人时）；v系统测试文档评审的工作量（人时）；系统测试文档评审的工作量（人时）；360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试执行和评估阶段主要活动系统测试申请审批系统测试申请制定系统测试详细计划执行系统测试准备系统测试执行系统测试总结和评估360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试执行和评估阶段常见风险v没有制定系统测试详细计划，测试开始之前测试人员不能明确本次系统测试活动应测试的测试用例。v测试执行不按照系统测试详细计划的要求来做，不能确保计划要求的测试用例都能得到执行。v未对测试的原始数据进行纪录。v本次系统测试新的有效测试规程和测试用例并未及时给予纪录并管理。v项目组和产品线的压力有可能导致测试人员的测试评估不够客观准确。v没有有效利用各种自动化测试手段，手工测试太多。360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试执行和评估阶段常用度量v测试用例通过率（百分比）本次测试中通过的用例数/实际执行的用例数；v测试用例覆盖率（百分比）本次测试中实际执行的用例数/计划执行的用例数；v本次测试中测试通过的系统测试用例数目（条）；v本次测试中测试不通过的系统测试用例数目（条）；v发现的缺陷数目及缺陷等级（个数、级别）；v已经解决的缺陷数目及缺陷等级（个数、级别）；v遗留的缺陷数目及缺陷等级（个数、级别）；v缺陷密度（分布图）；v测试的工时（人时）；v系统测试的需求覆盖率360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试的若干原则v应尽早地开始系统测试工作。v充分注意测试中的缺陷密集现象，即对缺陷比较密集的部分进行重点测试；v严格执行测试计划，排除测试的随意性。v对测试过程和测试结果应进行评价，确保测试过程的有效性。v妥善保存测试计划、测试用例、故障统计和最终分析报告，为维护提供方便。v对于被测试系统要进行正常和异常两方面的测试。v在系统测试计划中，要按照资源和项目的要求清晰地定义一个完整的退出准则，这是一种权衡投入产出比的原则，测试既不要不充分，也不要过分。360。企业管理信息化解决方案提供商2024/8/8 周四周四3系统测试的介绍、主要内容2451系统测试过程系统测试文档的结构及要求基本的测试工具系统测试实例360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试文档的结构及要求华为这边在系统测试期间，需要提供的文档主要为：测试计划测试用例系统测试报告性能测试报告安全测试报告缺陷统计分析表TOP级问题分析表.360。企业管理信息化解决方案提供商2024/8/8 周四周四测试计划1.对上一阶段的总结以及对这一阶段的测试策略2.测试总体时间安排3.每阶段预计完成的测试情况（包括场景划分）4.对于缺陷的定义以及缺陷电子流的准备5.测试过程的简述6.需要涉及的测试（如：功能测试、安全测试、性能测试、集成测试等。如果有集成测试，在测试前先做好集成搭建的沟通）7.测试方案简述8.测试重点标明9.测试约束与测试风险的预估10.测试环境的准备11.与测试相关的人员定义12.测试需要交付的文件清单360。企业管理信息化解决方案提供商2024/8/8 周四周四测试用例1.需要测试的内容整理2.需要涉及的场景梳理3.用例设计用例编号：测试阶段_产品名称_模块名称.用例流水号，例：SITC_ERP_PO.001案例名称：这个测试的需求或者场景的名称测试目的：这个需求测试要达到的效果前置条件：必须满足什么条件才能开始这个需求测试测试步骤：步骤编号（01、02、.999）测试活动：详细给出执行该测试步骤的预置条件，操作细节等.系统：测试对象的系统测试路径：测试案例所涉及的系统功能路径360。企业管理信息化解决方案提供商2024/8/8 周四周四测试用例测试角色：测试案例所涉及到的系统角色测试要点：测试活动中需要重点关注的地方，关键点或者功能点的验证测试输入：测试执行中的各种输入参数和条件预期结果：测试执行后所需要达到的结果测试日期：测试活动执行的实际日期通过：Y/N4.测试这个需求时的数据要做整理记录5.逆向场景的考虑6.后台表数据的逻辑检查7.回归测试场景8.性能测试场景360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试报告1.测试阶段2.测试通过的标准（测试充分性、测试有效性）3.测试环境（测试环境部署情况，测试资源）4.测试的内容以及测试的范围5.参与测试的人员（包括：测试的时间范围、阶段、参与的人员、合计投入时间）6.测试过程记录（包括：程序版本名称、测试时间、测试人员、测试地点）7.测试约束（用概述说明导致测试受到约束的情况）8.测试结果分析：模块内功能测试通过率统计整理问题单，分析出无效与有效的缺陷，并做统计360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试报告功能测试结果分析，涉及图表制作（需要制作哪些图表与测试总体组沟通）安全测试结果分析性能测试结果分析TOP级问题分析9.测试评论与结论测试充分性评价：本次测试覆盖了系统的xx%的需求，测试用例的执行率xx%系统稳定性评价：模块整体质量根据当前的缺陷分布情况、缺陷发型的趋势及测试活动的过程来分析系统与需求的符合性评价风险及建议测试结论360。企业管理信息化解决方案提供商2024/8/8 周四周四性能测试报告1.测试概述系统概述测试策略测试环境：服务器环境、客户端环境2.测试时间、地点及人员3.测试的内容：测试的场景测试所需的用户数量运行时间事务响应时间（需要图表）每秒请求数（需要图表）吞吐量（需要图表）事务平均响应时间（需要图表）运行结果（需要图表）360。企业管理信息化解决方案提供商2024/8/8 周四周四性能测试报告4.测试评价与结论5.性能测试总结性能测试方法性能测试的重点、难点性能测试情况360。企业管理信息化解决方案提供商2024/8/8 周四周四TOP级问题分析文档主要是对比较严重的缺陷做出分析与解决方案，与测试报告同时输出1.module name：缺陷所在模块2.title：缺陷单的标题3.validate influence level：提示/一般/严重/致命4.detail：出现的原因5.根因分析：对缺陷出现的原因做出分析6.解决方案：对缺陷做出相应的解决方案360。企业管理信息化解决方案提供商2024/8/8 周四周四4系统测试的介绍、主要内容2351系统测试过程系统测试文档的结构及要求基本的测试工具系统测试实例360。企业管理信息化解决方案提供商2024/8/8 周四周四华为常用的测试工具性能测试工具：LoadRunner 安全扫描工具：Paros 自动化测试工具：iRobot、QTP数据库代码扫描工具：DBCheck 数据快速录入工具：DataLoad360。企业管理信息化解决方案提供商2024/8/8 周四周四5系统测试的介绍、主要内容2341系统测试过程系统测试文档的结构及要求基本的测试工具系统测试实例360。企业管理信息化解决方案提供商2024/8/8 周四周四系统测试实例需求经常变更对测试的影响？需求变更可能会让项目所有成员遭殃，如何“预防变更”，以及“降低变更的代价”是软件工程的经典问题。需求变更将导致软件设计和实现的变更，也导致了测试变更。最让人难过的是上一次测试有可能白做了，如果软件变更比较大的话。如果需求经常变更是避免不了的，你会做什么措施保障测试的交付质量？360。企业管理信息化解决方案提供商系统测试实例需求不明确导致开发做出来的东西不尽人意？BA不会把一个需求特别明细化，开发如果不细心的话，特别容易造成误解，若没与BA确认直接开发就会造成功能有缺陷，这种事情常有发生，对于开发来说，主要功能完成了就可以了，细节不用太多关注，但是对于测试来说，是站在用户的角度去验收系统，这样的功能就是不完美，于是有了以下的对话：360。企业管理信息化解决方案提供商例子：测试：这个需求是完成了，可是缺少了一点细节，这对于用户来说易用性不好，不好用啊.开发：需求文档就是这么写的，我只按照需求文档进行开发，再说了，系统好不好用，也是仁者见仁智者见智，谁说了也不算，我觉得挺好用的.测试：我跟BA已经确认过了，这点确实不友好，需要改.开发：哎呀，都开发完了，改动工作量那么大，都快上线了，万一改动造成了其他影响怎么办，我可担保不了如果你是这个测试，你会怎么做？360。企业管理信息化解决方案提供商2024/8/8 周四周四考核内容1.系统测试包含的主要内容2.测试过程中，需要执行的内容有哪些？3.系统测试需要交付的主要文档有那些？4.系统测试在华为的重点关注点是什么？47THANK!