性能测试计划DOC.doc

性能测试计划网站稿件管理发布系统文 档 编 号Manager_System_001保 密 等 级机密作 者最后修改日期201411审 核 人最后审批日期201411批 准 人最后批准日期201411目录1.文档介绍31.1文档目的31.2参考文献31.3编写目的32.软件概述32.1项目介绍32.2运行环境42.3项目流程43.测试资源53.1软硬件配置53.2测试工具73.3人力需求73.4测试数据74.交付物85.测试进度计划86.测试启动/结束/暂停/再启动/退出准则96.1暂停准则：96.2暂停/再启动的准则96.2.1暂停准则：96.2.2再启动准则96.3测试退出准则97.性能测试目标要求107.1性能测试指标107.2交易响应时间107.3交易吞吐量107.4并发交易成功率117.5资源使用指标118.测试策略118.1基准测试118.2并发测试118.3递增测试118.4场景测试128.5疲劳强度测试129.测试用例开发1210.交易基准测试1310.1测试方法1310.2测试场景1311.交易并发测试1311.1测试方法1311.2测试场景1311.3测试方法1411.4测试场景1412.交易递增测试场景1412.1测试场景1413.混合交易负载场景1414.疲劳强度测试151. 文档介绍1.1文档目的说明测试方案中所涉及内容的简单介绍，包含：编写目的、项目背景、参考文档、测试点选取，场景设计等1.2参考文献网站稿件管理发布系统软件需求规格说明书1.3编写目的从文档描述网站稿件管理发布系统性能测试的范围、方法、资源、进度，作为网站稿件管理发布系统性能测试的依据，该文档的目的主要有：1、 明确测试范围、测试对象2、 明确测试目标3、 明确测试环境需求，包括：测试需要的软、硬件环境以及测试人力需求4、 确定测试方案，测试的方法和步骤5、 指定测试工作的时间安排6、 分析测试的风险，寻找规避办法7、 确定测试需求输出的结果和结果表现形式2. 软件概述2.1项目介绍系统特点 本系统是一个网站稿件管理发布系统，包括稿件管理和文档上传下载两个主要功能模块。 网站编辑用户可以提交稿件，稿件经过批准后可以在网站上发布。 查询稿件可以执行标题检索、全文检索等。 文档上传下载功能可以管理和共享Word文档。2.2运行环境 服务器设备CPU主频1GHz以上，内存1GB以上，硬盘自由空间1GB以上。 支持软件操作系统：Windows2003 Server或Windows XP数据库服务器：MySQL-5.1.28应用服务器：Tomcat6.0Java：JDK1.6.0_07应用软件：Liferay Portal 5.1.1浏览器：IE6+sp2Word：office 2000或office XP或office 20032.3项目流程3. 测试资源3.1软硬件配置性能测试环境（包括测试工具环境）的硬件和软件配置如下表所示：环境资源数量型号/配置/软件名称/软件版本号硬件环境核心系统新安腾主机1HP 安腾CPU：40核，主频 1.6GHz内存：80G存储：500*9GIP地址：10.1.189.213前置系统服务器主机1IBM 595CPU：8核，主频 2.3GHz内存：16G存储：20GIP地址：10.1.189.214LR压力产生器2笔记本电脑CPU：双核，主频 1.60GHz内存：1G/2GIP地址：10.1.119.59/10.1.119.109LR控制台1笔记本电脑CPU：双核，主频 1.60GHz内存：1GIP地址：软件环境核心主机操作系统1HP-UX 11.23核心主机数据库1Oracle 9i核心主机应用软件1ECshop核心主机交易中间件1BEA Tuxedo 9.1前置服务器操作系统1IBM-AIX 5.3.0.0前置服务器数据库1Oracle 9.2.0.6.0前置服务器应用软件1南天综合前置系统()前置服务器交易中间件1BEA Tuxedo 9.0LR压力产生器操作系统2Windows XP Professioanl(SP2)LR控制台操作系统1Windows XP Professioanl(SP2)LR压力产生器、压力产生器交易中间件客户端3BEA Tuxedo WorkStation 6.53.2测试工具序号工具名称用途及说明厂商/自产版本1LoadRunner性能测试工具，Tuxedo协议（License的并发数为500）HP110 英文版3.3人力需求角色姓名具体职责技能要求性能测试经理性能测试项目管理和协调性能测试需求分析测试计划和测试报告编写1、组织协调能力2、熟悉性能测试体系3、熟悉应用架构性能测试设计人员编制测试案例，开发测试脚本，设计测试场景，执行性能测试1、熟悉性能测试体系2、熟悉性能测试方法和LoadRunner测试工具3、脚本编写和调试能力4、执行时的系统资源监控技术5、性能瓶颈分析能力测试环境和测试数据准备人员准备性能测试环境（包括测试工具环境、被测系统硬件环境和软件环境）准备基础数据和测试数据1、LoadRunner部署能力2、熟悉核心系统、前置系统软硬件配置3、熟悉数据库操作性能调优人员核心后台主机系统优化1、熟悉HP主机设置2、精通数据库调优3、熟悉应用架构3.4测试数据数据对象数据数据文档位置登录用户用户名密码user.datD:LR_ProjectData查询稿件稿件名称稿件版本号稿件标题稿件内容search_manuscript.dat增加稿件稿件标题稿件内容add_manuscript.dat显示稿件稿件编号show_manuscript.dat查询文档文档名称search_document.dat上传文档文档名称文档重命名文档说明upload_document.dat4. 交付物序号交付物名称责任人参与者交付日期1性能测试计划2性能测试脚本3性能测试场景4性能测试结果5性能测试报告5. 测试进度计划在测试工作量估算数据的基础上，考虑现有的资源情况，对资源进行具体安排，根据项目整体进度计划，列出进度表，即是谁在什么时间内完成什么任务序号名称责任人工期开始时间完成日期1稿件管理发布系统5工作日2014-04-282014-05-021.1测试设计2工作日1.1.1编写测试计划准备测试环境准备测试数据开发测试脚本1.2基准、单交易并发测试1-2工作日1.2.1单交易基准测试1.2.1单交易并发测试1.3综合场景测试1.3.1综合场景测试第1轮1.3.2综合场景测试第2轮1.4稳定性测试1.5测试总结0-0.5工作日6. 测试启动/结束/暂停/再启动/退出准则6.1暂停准则： 核心系统和前置系统应用软件通过系统功能测试； 测试环境已经准备完毕，包括：n 核心系统和前置系统应用系统已安装完毕n 基础数据以及测试数据已经导入核心系统主机数据库n LoadRunner压力产生器及控制台机器已经准备完毕 测试工具LoadRunner及所需要的License已准备好 测试脚本、测试场景已经准备完毕以上条件，必须全部满足才能开始性能测试执行。6.2暂停/再启动的准则6.2.1暂停准则： 测试汇总发现问题，需要网站稿件管理发布系统修改代码，或者需要更换应用服务器 测试环境受到干扰，比如服务器被临时征用，或服务器的其他使用会对测试结果造成干扰6.2.2再启动准则 测试中发现问题得以解决 测试环境恢复正常6.3测试退出准则 满足下列条件之一时，可以结束性能测试执行：n 压到预定最大并发用户数，系统性能能够满足预期测试指标要求；n 到计划结束日期，压到预定最大并发用户数，经过系统调优，系统性能仍然无法满足预期测试指标要求，但已经无法再实施调优。7. 性能测试目标要求7.1性能测试指标本次性能测试需要测试的性能指标包括： 1、交易响应时间：核心系统处理交易的平均响应时间2、交易吞吐量：后台主机每秒能够处理的交易笔数（TPS）3、并发交易成功率4、批处理效率5、资源使用指标：前置和核心系统各服务器CPU占用率、内存占用率、I/O占用率；LoadRunner压力产生器CPU占用率、内存占用率7.2交易响应时间本次性能测试中的交易响应时间是指在一定的负载压力下，由前置系统记录和进行统计分析的、核心系统处理交易的响应时间，用一定时间段内的统计平均值ART来表示。本次性能测试中，对所有非批量联机交易的ART指标要求为：ART 5秒7.3交易吞吐量根据统计数据，网站稿件管理核心系统当前生产环境高峰日交易总量为7500笔。根据二八原则（80%的交易量发生在20%的时间段内），当前生产环境对主机的交易吞吐量指标要求为：TPS_1 10000(交易) * 80%(交易量) / (24(小时) * 20% * 3600(1小时60分钟*1分钟60秒) = 0.34 笔/秒 17280根据规划，网站稿件管理系统未来1年内核心系统的处理能力应达到高峰日交易总量10000笔，则3年后对主机的交易吞吐量指标要求为：TPS_2 10000 * 80% / (24 * 20% * 3600) = 0.46 笔/秒为获取核心系统主机的最大处理能力，在本次性能测试中可通过不断加压，让核心系统主机CPU利用率达到85%，记录此时的TPS值，作为新主机处理能力的一个参考值。为模拟生产上核心主机的异常情况，通过不断加压，让核心系统主机CPU利用率达到接近100%，观察核心系统的工作情况，记录TPS值。7.4并发交易成功率指测试结束时成功交易数占总交易数的比率。交易成功率越高，系统越稳定。对典型交易的场景测试，要求其并发交易成功率 99% 。7.5资源使用指标在正常的并发测试和批处理测试中，核心系统各服务器主机的资源使用指标要求：CPU使用率 80%内存使用率 80%I/O使用率 80%8. 测试策略8.1基准测试在测试环境经过确认，脚本预验证之后对本次测试涉及的全部联机交易做基准测试。目的是验证测试脚本及后台环境、初步检查交易本身是否存在性能缺陷。目的：是获取单用户执行时的各项性能指标，为多用户并发和混合场景的性能测试分析提供参考依据；8.2并发测试并发测试是指并发不同数目的虚拟用户执行检查点操作，目的是对检查点进行压力加载测试。预测系统投入使用后在一定用户压力情况下的系统响应时间,根据此响应时间分析、确定系统存在的性能瓶颈，为系统的优化和调整提供依据。8.3递增测试递增测试是指每隔一定时间段（如5秒、10秒）并发不同数目的虚拟用户执行检查点操作，对检查点进行递增用户压力加载测试，从而模拟系统真实的使用情景，使用户预知系统投入使用后的性能水平。8.4综合场景测试通过对系统体系机构和功能模块的分析以及对系统用户的分布和使用频率的分析，来构造系统综合场景的测试模型，模拟不同用户执行不同操作，如10%的用户执行登录操作，50%的用户执行查询操作，40%的用户执行上传文档操作，最大限度地模拟系统的真实场景，使用户预知系统投入使用后的真实性能水平。从而，对系统做出相应的优化及调整，避免实际情况中出现系统长时间不响应及崩溃的情况。8.5疲劳强度测试疲劳强度测试是指对系统核心功能点进行疲劳强度测试，即用系统稳定运行情况下能够支持的最大并发用户数，持续执行一段业务时间（如48小时），记录交易平均响应时间，交易正确率，应用服务器和数据库服务器CPU利用率、内存使用情况等参数，考察应用服务器和数据库服务器是否出现宕机、内存泄漏等情况。该测试通常需要和场景测试进行结合，从而可以最大限度地模拟真实环境下，系统长时间连续运行条件下，系统是否能够保持在稳定运行状态。9. 测试用例开发根据测试范围规定的内容，逐条设计测试需求及完成该测试需求的测试过程、测试条件，构造本次测试的测试用例，编写决策树。表1 时间特性第1页共1页测试需求测试过程说明过程标引登录系统（login）单用户执行登录系统E-0110用户并发执行登录系统E-0220用户并发执行登录系统E-03查询稿件（search_menuscript）单用户执行查询稿件E-0410用户并发执行查询稿件E-0520用户并发执行查询稿件E-06新增稿件（add_menuscript）单用户执行新增稿件E-0710用户并发执行新增稿件E-0820用户并发执行新增稿件E-09显示稿件（show_menuscript）单用户执行显示稿件E-1010用户并发执行显示稿件E-1120用户并发执行显示稿件E-12上传文档（upload_document）单用户执行上传文档E-1310用户并发执行上传文档E-1420用户并发执行上传文档E-15查询文档（search_document）单用户执行查询文档E-1610用户并发执行查询文档E-1720用户并发执行查询文档E-18综合场景一使用50用户在线共同执行系统稿件模块，15用户执行新增稿件，15用户执行显示稿件，20用户执行查询稿件。整个场景执行1小时。E-19综合场景二使用50用户在线共同执行文档上传下载模块，结合部分稿件模块功能，15用户执行上传文档，20用户执行查询文档，15用户执行查询稿件。整个场景执行1小时。E-20疲劳强度测试使用50用户在线共同访问被测系统，15用户执行查询稿件，15用户执行查询文档，10用户执行显示稿件，5用户执行上传文档，5用户执行增加稿件。整个场景持续运行12小时。E-21表2 资源特性第2页共1页测试需求测试过程说明过程标引登录系统（login）单用户执行登录系统，并监控服务器的各项资源。E-2210用户并发执行登录系统，并监控服务器的各项资源。E-2320用户并发执行登录系统，并监控服务器的各项资源。E-24查询稿件（search_menuscript）单用户执行查询稿件，并监控服务器的各项资源。E-2510用户并发执行查询稿件，并监控服务器的各项资源。E-2620用户并发执行查询稿件，并监控服务器的各项资源。E-27新增稿件（add_menuscript）单用户执行新增稿件，并监控服务器的各项资源。E-2810用户并发执行新增稿件，并监控服务器的各项资源。E-2920用户并发执行新增稿件，并监控服务器的各项资源。E-30显示稿件（show_menuscript）单用户执行显示稿件，并监控服务器的各项资源。E-3110用户并发执行显示稿件，并监控服务器的各项资源。E-3220用户并发执行显示稿件，并监控服务器的各项资源。E-33上传文档（upload_document）单用户执行上传文档，并监控服务器的各项资源。E-3410用户并发执行上传文档，并监控服务器的各项资源。E-3520用户并发执行上传文档，并监控服务器的各项资源。E-36查询文档（search_document）单用户执行查询文档，并监控服务器的各项资源。E-3710用户并发执行查询文档，并监控服务器的各项资源。E-3820用户并发执行查询文档，并监控服务器的各项资源。E-39综合场景一使用50用户在线共同执行系统稿件模块，15用户执行新增稿件，15用户执行显示稿件，20用户执行查询稿件。整个场景执行1小时。，并监控服务器的各项资源。E-40综合场景二使用50用户在线共同执行文档上传下载模块，结合部分稿件模块功能，15用户执行上传文档，20用户执行查询文档，15用户执行查询稿件。整个场景执行1小时。，并监控服务器的各项资源。E-41疲劳强度测试使用50用户在线共同访问被测系统，15用户执行查询稿件，15用户执行查询文档，10用户执行显示稿件，5用户执行上传文档，5用户执行增加稿件。整个场景持续运行12小时。，并监控服务器的各项资源。E-4210. 交易基准测试10.1测试方法使用一个Vuser，分别运行每个交易的脚本，设置脚本的迭代次数1次，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction Response Time)。10.2测试场景编号场景名执行用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量备注1登录系统login1Vuser同时1min同时Pacing:2s-4sThinktime:忽略1获取单用户执行的响应时间和服务器资源，为之后的测试提供依据2查询稿件search_menuscript3新增稿件add_menuscript4显示稿件show_menuscript5上传文档upload_document6查询文档search_document11. 交易并发测试11.1测试方法使用10个Vuser，分别为每个交易执行并发，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction Response Time)。11.2测试综合场景编号场景名并发用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量集合点策略1登录系统login10同时运行完成同时忽略1设置第一项，让100%VU到达集合点时一起并发执行。2查询稿件search_menuscript3新增稿件add_menuscript4显示稿件show_menuscript5上传文档upload_document6查询文档search_document 11.3测试方法使用20个Vuser，分别为每个交易执行并发，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个交易的平均交易响应时间ATR(Average Transaction Response Time)。11.4测试场景编号场景名并发用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量集合点策略1登录系统login20同时运行完成同时忽略1设置第一项，让100%VU到达集合点时一起并发执行。2查询稿件search_menuscript3新增稿件add_menuscript4显示稿件show_menuscript5上传文档upload_document6查询文档search_document12. 混合交易负载场景制作单个交易的性能测试脚本，将同一模块内功能相近的脚本放在同一个测试场景中，并发用户数为50，平均设定每个交易的比例，设定负载序列，按照负载序列逐渐增加并发用户数。场景一序号模块名称功能点执行用户数用户加载方式DurationPacingThink time备注1稿件查询稿件（20VU）50每2秒加载1个1hRandom:6s-9sRandom50%-150%2显示稿件（15VU）3新增稿件（15VU）场景二序号模块名称功能点执行用户数用户加载方式DurationPacingThink time备注1文档+稿件查询文档（20VU）50每2秒加载1个1hRandom:6s-9sRandom50%-150%2上传文档（15VU）3查询稿件（15VU）13. 疲劳强度测试使用50用户系统稳定运行的情况下，以一定的负载压力来长时间运行系统的测试，主要目的是确定被测系统系统长时间处理较大业务量时的性能，获取响应时间和服务器各项资源。场景一序号模块名称功能点执行用户数用户加载方式DurationPacingThink time负载生成器数量备注1稿件+文档查询稿件（15VU）50每2秒加载2个12hRandom:3s-9sRandom50%-150%2必要时可以采用联机测试2查询文档（15VU）3显示稿件（10VU）增加稿件（5VU）上传文档（5VU）