网络安全事业部自动化测试引入建议报告-.ppt

Neusoft Group Ltd.Date:30.Jun 2005Neusoft Group Ltd.Beyond TechnologyDate:07.Sep 2005刘君宇刘君宇自动化测试建议报告网络安全事业部自动化测试引入建议报告2024/5/21 周二1Neusoft Group Ltd.Date:30.Jun 2005建议内容在网安产品测试技术领域的创新与研究方面增加投入，提高组织测试阶段的能力和技术含量，提升组织的核心竞争能力。将提升员工的测试技能尤其是自动化测试技能纳入08年的培训计划和人才招聘计划将自将自动化化测试流程的建立流程的建立纳入到部入到部门过程改善程改善计划中，划中，有有组织有有计划的逐步划的逐步实施施2024/5/21 周二2Neusoft Group Ltd.Date:30.Jun 2005本想法产生的过程通过自动化节省时间用来提高自身技能帮助完成重复的测试工作，降低劳动强度希望可以将测试手段和相关过程的革新纳入到部门的过程改善中，通过系统的引入自动化测试，来提升部门的核心竞争力和应对未来软件规模挑战的能力。希望通过逐步引入和实施自动化测试，带动相关测试和开发流程的规范，形成部门的相关标准，扩大自动化测试所产生的经济效益，提高各项目按时交付的能力，跟上行业发展的步伐。自动化测试可以提高测试效率和质量使bug的再现不受随机测试的干扰可以节省时间更广泛和更深入的测试最初的想法最初的想法逐逐渐意意识到到现在的想法在的想法2024/5/21 周二3Neusoft Group Ltd.Date:30.Jun 2005Contents软件件测试自自动化化简介介部部门开展自开展自动化化测试可行性和必要性分析可行性和必要性分析部部门引入自引入自动化化测试的建的建议实施方案施方案预计实施后的施后的场景景2024/5/21 周二4Neusoft Group Ltd.Date:30.Jun 2005Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate:07.Sep 2005Peter 软件件测试自自动化化简介介自动化测试涵盖范围自动化测试的优势自动化测试开发体系自动化测试过程自动化测试主要技术手段引入自动化测试的意义2024/5/21 周二5Neusoft Group Ltd.Date:30.Jun 2005自动化测试涵盖范围测试脚本和测试数据的自动生成测试过程自动执行测试结果自动比较测试报告自动生成测试管理控制流程的自动化2024/5/21 周二6Neusoft Group Ltd.Date:30.Jun 2005自动化测试的优势C测试效率高（eg.VPN nsh测试）Cbug再现效率高C节省测试人员投入C提高传统测试领域的测试覆盖率C功能测试的回归C可复用程度高C核心测试脚本写为库文件后，可以在今后的项目中复用C测试和开发的结合更加紧密C测试质量可控(eye4.0稳定性测试)C测试执行过程严格，排除手工测试的随机性CBug再现和确认结果准确，排除随机测试的干扰C增加测试版本，不再受测试时间长短的限制2024/5/21 周二7Neusoft Group Ltd.Date:30.Jun 2005手动测试与自动化测试对比手手动测试自自动化化测试测试覆盖率不高，提高测试覆盖率所需成本很高测试阶段耗费大量时间，导致项目延大量重复的验证工作和开发的反复修改调试，导致测试人员责任心下降和工作兴趣消失测试用例的不精确，导致测试过程存在大量的随机测试，质量和风险无法控制提高测试覆盖率仅与测试数据的完备程度相关，测试执行时间仅取决于脚本执行时间，和系统bug数量大量重复的基本的验证工作由自动化测试完成，测试人员有更多的时间进行发散测试测试用例全部由精确的测试脚本构成，质量完全通过测试开发过程和项目流程来控制2024/5/21 周二8Neusoft Group Ltd.Date:30.Jun 2005传统测试过程与自动化测试过程比较集成测试系统测试验收测试单元测试测试开发系统测试时间传统测试过程自动化测试过程2024/5/21 周二9Neusoft Group Ltd.Date:30.Jun 2005自动化测试如何体现到NUP过程中自动化测试需求分析自动化测试技术准备自动化测试框架的建立测试结果自动分析自动化测试的优化测试数据的增加需求变更的控制移交阶段构建阶段精化阶段先启阶段自动化测试数据生成自动化测试脚本开发自动化测试执行回归测试（daily build 构建测试）自动化测试脚本维护2024/5/21 周二10Neusoft Group Ltd.Date:30.Jun 2005自动化测试的主要技术手段UI功能 Web QTP GUI Winrunner，RobotCLI SecureCRT(Scripts)Bash shell scriptsWindows platform TCL通信功能 bat shell tcl nessus 性能 IXIA Smartbits LoadRunner 测试管理TestDirector QilityCenterRational Test Suite2024/5/21 周二11Neusoft Group Ltd.Date:30.Jun 2005自动化测试脚本的维护过程测试脚本的生成测试脚本的更新（随系统的更新）测试脚本的分类测试结果的分析2024/5/21 周二12Neusoft Group Ltd.Date:30.Jun 2005自动化测试开发体系配置管理开发自动测试程序同行评审自动测试基础设施测试工具标准测试工具兼容性实用解决方案测试过程执行进度模块关系分析自动测试工具手册手动测试计划测试设计标准测试开发标准自动测试重用分析技术环境设施及硬件测试环节就绪检查2024/5/21 周二13Neusoft Group Ltd.Date:30.Jun 2005引入自动化测试的意义解决传统测试无法解决的问题测试周期太长测试过程由人工操作带来对测试结果的干扰提高测试质量完成大量边界值测试提高测试效率大量重复操作的耗时测试稳定性测试，极限测试快速的完成接收验证测试，实现测试驱动的开发模式2024/5/21 周二14Neusoft Group Ltd.Date:30.Jun 2005Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate:07.Sep 2005Peter自动化测试可行性和必要性分析部门自动化测试的有利条件部门目前使用的自动化测试工具现状部门开展自动化测试的不利因素部门开展自动化测试的需求引入自动化测试还需关心的问题尚需改善的工作内容2024/5/21 周二15Neusoft Group Ltd.Date:30.Jun 2005部门自动化测试的有利条件部分测试人员具备自动化测试的基本技能（eg.孙玉梅 5x，卢婷婷 5x，顾新宇 5x）可以实现自动化测试内容很多潜力巨大部门具备白盒测试引入经验自动化测试工具QTP LoadRunner等在公司范围内广泛使用，不存在太多技术风险。2024/5/21 周二16Neusoft Group Ltd.Date:30.Jun 2005部门目前使用的自动化测试工具现状2024/5/21 周二17Neusoft Group Ltd.Date:30.Jun 2005部门开展自动化测试的不利因素部门层面没有统一的测试技术架构，项目间资源共享和可复用程度很低自动化测试各自为战，效率提升不明显，缺乏项目早期的规划及过程中的配置管理，自动化程度还很低。人员自动化测试技能有待进一步的提高，高效率测试执行意识不足应用层性能测试和自动化测试比较薄弱，测试设计人员能力还有欠缺公司间的竞争最终都将体现在核心技术过程能力与管理体系上面，采用先进的测试技术可以提升我们这方面的能力，也是测试行业的发展趋势2024/5/21 周二18Neusoft Group Ltd.Date:30.Jun 2005部门开展自动化测试的需求功能功能性能性能稳定性定性测试管理活管理活动自自动化化功能测试拓扑FW初始配置脚本的自动执行Web nsh的极限测试QTP执行过程相对固定的功能用例所有测试设备物理结构固定的性能测试用例应用层内容过滤的并发测试LoadrunnnerFW自动配置发包脚本，设备自动监控及记录缺陷的自动分析和管理测试进度的自动统计2024/5/21 周二19Neusoft Group Ltd.Date:30.Jun 2005引入自动化测试还需关心的问题自动化测试工具创建测试脚本的能力工具的易用性测试脚本的编程和扩展能力测试脚本的参数化技术测试工作和其它软件生命周期管理工具的集成能力 测试脚本难于维护测试人员对规范的执行力度不够缺少专业的自动化测试管理和执行人员需求变更导致自动化测试维护成本无法控制。技术准备不充分导致项目在测试阶段存在较大的风险2024/5/21 周二20Neusoft Group Ltd.Date:30.Jun 2005尚需改善的工作内容建立自动化测试管理流程，结合NUP将自动化测试管理纳入项目管理过程中。测试流程需要为自动化测试的实施进行适当改造，制定相关的规范和过程文档模版，建立科学的管理过程，使自动化测试得到有效的管理与控制。建立自动化测试工具库和用例库，提高可复用程度，项目间建立共享自动化资产的渠道增加在自动化测试方面的投入（人员，培训，测试工具）2024/5/21 周二21Neusoft Group Ltd.Date:30.Jun 2005Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate:07.Sep 2005Peter自动化测试引入方案有效的利用现有条件开展自动测试建立自动化测试管理流程建立和整合可复用的自动测试工具库和用例库试点评估和推广2024/5/21 周二22Neusoft Group Ltd.Date:30.Jun 2005有效的利用现有条件开展自动测试利用qtp实现自动测试测试脚本生成参数化设计测试数据测试用例驱动自动运行使用shell脚本进行自动化测试循环调用nemesis发送各种icmp数据包利用vsh进行自动化测试securitCRT支持vbscript javascript结合提供的接口实现自动的远程命令执行 循环添加50000条防火墙规则2024/5/21 周二23Neusoft Group Ltd.Date:30.Jun 2005建立自动化测试管理流程结合公司质量体系文件，开发自动化测试各阶段所需文档和测试开发流程自动化测试项目估计报告自动化测试需求调查表自动化测试规划建议报告自动化测试配置管理计划自动化测试开发详细计划自动化测试详细设计自动化测试用例（包含多个版本）自动化测试执行结果对照表自动化测试规范自动化测试指南 2024/5/21 周二24Neusoft Group Ltd.Date:30.Jun 2005建立和整合可复用的自动测试工具库和用例库建设可复用的测试脚本库可复用的QTP action和二次开发的API网安产品测试工具库和配置文件库自动化测试数据库测试结果配置库测试程序库2024/5/21 周二25Neusoft Group Ltd.Date:30.Jun 2005试点评估和推广试点选取一个项目或功能模块采用自动化测试管理流程进行自动化测试评估内容（后续细化）测试覆盖率项目过程中每人月的bug数量缺陷收敛率推广在部门内建立自动化测试团队，对各个项目进行自动化测试的技术支持和测试需求分析，共享自动化测试用例库和工具库等可复用资产2024/5/21 周二26Neusoft Group Ltd.Date:30.Jun 2005Neusoft Group Ltd.Neusoft Group Ltd.Beyond TechnologyDate:07.Sep 2005Peter预计的自的自动化化测试场景景2024/5/21 周二27Neusoft Group Ltd.Date:30.Jun 2005自动化测试团队的人员构成2024/5/21 周二28Neusoft Group Ltd.Date:30.Jun 2005自动测试与手工测试结合场景2024/5/21 周二29Neusoft Group Ltd.Date:30.Jun 2005自动化测试团队的矩阵式组织结构SPEGSPEGPDTPDT开开开开发发PDTPDTAuto Auto TestTest部部部部部部门门门测试测试开开开开发发测试测试开开开开发发Auto TestAuto Test2024/5/21 周二30Neusoft Group Ltd.Date:30.Jun 2005引入路线图2009-52008-122008-102008-6结合合CMMI，实现自自动化化测试流程与流程与项目管理目管理过程的程的优化整合，化整合，由由SEPG自自动化化测试小小组指指导对部部门各各项目目实施自施自动化化测试.在一个新在一个新项目中采用自目中采用自动化化测试相相应的开的开发管理流程，并管理流程，并对项目管理目管理过程程进行行评估。估。以以WEB测试VPN为试点点,对建立的流程和建立的流程和测试效果效果进行行评估，并估，并对测试管理管理过程加以改程加以改进建立完整的自建立完整的自动化化测试管理流程和体系，管理流程和体系，编写写体系文件和流程模版，体系文件和流程模版，建立部建立部门级和和项目目级别的自的自动化化测试配置，配置，实施相施相应的配置管理的配置管理计划划和管理模版和管理模版2024/5/21 周二31Neusoft Group Ltd.Date:30.Jun 2005预计的工作内容1.自动化测试管理文档的开发.2.自动化测试工具的研究开发.3.测试框架的开发-命名体系和测试规范4.ixia进行稳定性测试方法的研究5.QTP进行web自动化测试的研究6.ixia进行性能自动化测试的研究7.SecureCRT进行功能自动化测试的研究.8.新测试工具的调查，VPN证书测试中进行试点9.测试人员的自动化测试培训.10.自动化测试评估.11.高级自动化研究.13.B/S 2层和3层结构的系统的自动化测试.14.集成FW VPN IPS SOC的测试框架构建.15.自动化测试管理体系与公司现有体系得融合2024/5/21 周二32Neusoft Group Ltd.Date:30.Jun 2005预期带来的效益2008-102008-12实现自动化测试用例的统一的规划,提高测试用例可维护性 建立可复用的自动化测试用例库，将适合采用自动测试手段的部分，利用工具来进行测试实现测试设计和测试执行分离。建立起规范的自动化流程，实现VPN 40%功能的自动化测试2008-62009-5节省项目测试阶段30%以上的执行时间，提高每人月的缺陷发现率提高QCD水平,提高核心竞争能力和按期交付能力提高工作效率30%以上降低项目成本30%以上2024/5/21 周二33Neusoft Group Ltd.Date:30.Jun 2005SummaryWhy to do?缩短测试周期，节省项目成本，占领技术制高点What to do?规范的有组织有计划的提高测试水平和技术含量How to do?自动化测试引入实施方案自动化测试引入详细工作计划Wehter to do？2024/5/21 周二34Neusoft Group Ltd.Date:30.Jun 2005Thank you!2024/5/21 周二35Neusoft Group Ltd.Date:30.Jun 2005机会-需求-挑战大批量数据驱动的软件测试 整个软件测试生命周期的管理提升快速交付的能力提高QCD水平提高核心竞争力适应技术发展趋势成熟的测试工具QTP IXIA和测试手段可以实现自动化测试的软件和功能基础 NSH WEB有具备一定自动化测试经验的人力资源需求需求机会机会挑挑战2024/5/21 周二36Neusoft Group Ltd.Date:30.Jun 2005其他关于本建议的资料自动化测试引入计划.doc 2005-12自动化测试引入的思路.txt 2006-10网络安全设备自动化测试的研究与实施计划.doc 2006-11自自动化化测试实施管理流程施管理流程.htm 2006-11自自动化化测试引入工作引入工作计划划2008-2-16.mpp 2008-2VPN证书功能功能QTP自自动化化测试Demo 2008-32024/5/21 周二37