大数据性能测试方案V10DOC.doc

编号：

密级：

XXX大数据平台
性能测试方案

[V1-1.0]

拟 制 人：
审 核 人：
批 准 人：

[2016年01月08日]

文件变更记录
*A - 增加 M - 修订 D - 删除
版本号
日期
变更类型
（A*M*D）
修改人
摘要
审核人
备注
V1.0
2016-01-08
A

新建性能测试方案

目 录
目 录 I
1 引言 1
1.1 编写目的 1
1.2 测试目标 1
1.3 读者对象 1
1.4 术语定义 1
2 环境搭建 1
2.1 测试硬件环境 1
2.2 软件环境 2
3 测试范围 2
3.1 测试功能点 2
3.2 测试类型 2
3.3性能需求 3
3.4准备工作 3
3.5 测试流程 3
4.业务模型 4
4.1 基准测试 4
4.1.1 Hadoop/ Spark读取算法的基准测试 4
4.1.2 Hadoop/ Spark写入算法的基准测试 5
4.1.3 Hadoop/ Spark导入算法的基准测试 6
4.1.4 Hadoop/ Spark导出算法的基准测试 7
4.2 负载测试 8
4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试 8
4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试 9
4.3 稳定性测试 10
4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试 10
5 测试交付项 12
6 测试执行准则 12
6.1 测试启动 12
6.2 测试执行 12
6.3 测试完成 13
7 角色和职责 13
8 时间及任务安排 13
9 风险和应急 14
9.1影响方案的潜在风险 14
9.2应急措施 14

1 引言
1.1 编写目的
本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。
1.2 测试目标
本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时，了解该服务器的各项性能情况。
1.3 读者对象
本方案的预期读者是：项目负责人、测试人员、运维人员和其他相关人员。
1.4 术语定义
术语
定义
性能测试
通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试
场景
用于根据性能要求定义在每一个测试会话进行期间发生的事件
事务
表示要度量的最终指定的某个特定业务
2 环境搭建
2.1 测试硬件环境
服务器名
数量
期望到位阶段
备注
服务器
1
开发提测前

2.2 软件环境
资源名称
配置

3 测试范围
3.1 测试功能点
编号
测试点
对应算法
备注
1
Hadoop读取

2
Hadoop写入

3
Hadoop导入

4
Hadoop导出

5
Spark读取

6
Spark写入

7
Spark导入

8
Spark导出

3.2 测试类型
类型
定义
备注
基准测试
单事物单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况

负载测试
通过逐步增加系统负载，测试系统性能的变化

稳定性测试
通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。

3.3性能需求
名称
指标
备注
CPU
使用率不高于80%

内存
使用率不高于80%

I/O
使用率不高于80%

响应时间

Network
使用率不高于80%

3.4准备工作
1. 测试功能点全部通过功能测试，确保功能上没有问题；
2. 测试环境服务器已搭建，被测项目已部署；
3. 准备测试客户机；
4. 准备好测试数据；
5. 创建测试场景，并配置好每个场景的设置；
6. 测试过程中保存好测试数据和分析结果，并规范对执行结果进行命名
3.5 测试流程

4.测试策略
4.1 基准测试
4.1.1 Hadoop/ Spark读取算法的基准测试
场景1：数据容量100G时，进行读取算法的基准测试
用例名称
数据量100G，读取功能的基准测试
算法
读取
验证功能
Hadoop/ Spark的读取测试
测试目的
对比Hadoop/ Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，进行读取算法的基准测试
用例名称
数据量500G，读取功能的基准测试
算法
读取
验证功能
Hadoop/ Spark的读取测试
测试目的
对比Hadoop/ Spark的读取算法，进行数据容量500G读取操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，进行读取算法的基准测试
用例名称
数据量1T，读取功能的基准测试
算法
读取
验证功能
Hadoop/ Spark的读取测试
测试目的
对比Hadoop/ Spark的读取算法，进行数据容量1T读取操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的读取代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.1.2 Hadoop/ Spark写入算法的基准测试
场景1：数据容量100G时，进行写入算法的基准测试
用例名称
数据量100G，写入功能的基准测试
算法
写入
验证功能
Hadoop/ Spark的写入测试
测试目的
对比Hadoop/ Spark的写入算法，进行数据容量100G写入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，进行写入算法的基准测试
用例名称
数据量500G，写入功能的基准测试
算法
写入
验证功能
Hadoop/ Spark的写入测试
测试目的
对比Hadoop/ Spark的写入算法，进行数据容量500G写入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，进行写入算法的基准测试
用例名称
数据量1T，写入功能的基准测试
算法
写入
验证功能
Hadoop/ Spark的写入测试
测试目的
对比Hadoop/ Spark的写入算法，进行数据容量1T写入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的写入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.1.3 Hadoop/ Spark导入算法的基准测试
场景1：数据容量100G时，进行导入算法，查看服务器的相关性能指标
用例名称
数据量100G，导入功能的基准测试
算法
导入
验证功能
Hadoop/ Spark的导入测试
测试目的
对比Hadoop/ Spark的导入算法，进行数据容量100G导入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，进行导入算法，查看服务器的相关性能指标
用例名称
数据量500G，导入功能的基准测试
算法
导入
验证功能
Hadoop/ Spark的导入测试
测试目的
对比Hadoop/ Spark的导入算法，进行数据容量500G导入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，进行导入算法，查看服务器的相关性能指标
用例名称
数据量1T，导入功能的基准测试
算法
导入
验证功能
Hadoop/ Spark的导入测试
测试目的
对比Hadoop/ Spark的导入算法，进行数据容量1T导入操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导入代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.1.4 Hadoop/ Spark导出算法的基准测试
场景1：数据容量100G时，进行导出算法，查看服务器的相关性能指标
用例名称
数据量100G，导出功能的基准测试
算法
导出
验证功能
Hadoop/ Spark的导出测试
测试目的
对比Hadoop/ Spark的导出算法，进行数据容量100G导出操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，进行导出算法，查看服务器的相关性能指标
用例名称
数据量500G，导出功能的基准测试
算法
导出算法
验证功能
Hadoop/ Spark的导出测试
测试目的
对比Hadoop/ Spark的导出算法，进行数据容量500G导出操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，进行导出算法，查看服务器的相关性能指标
用例名称
数据量1T，导出功能的基准测试
算法
导出
验证功能
Hadoop/ Spark的导出测试
测试目的
对比Hadoop/ Spark的导出算法，进行数据容量1T导出操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端执行Hadoop/ Spark的导出代码
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.2 负载测试
4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试
场景1：数据容量100G时，并行读取/写入算法的混合测试场景
用例名称
数据量100G，并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/ Spark并行读取/写入测试
测试目的
对比Hadoop/ Spark的并行读取/写入，进行数据容量100G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，并行读取/写入算法的混合测试场景
用例名称
数据量500G，并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/ Spark并行读取/写入测试
测试目的
对比Hadoop/ Spark的并行读取/写入，进行数据容量500G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，并行读取/写入算法的混合测试场景
用例名称
数据量1T，并行读取/写入的负载测试
算法
读取/写入
验证功能
Hadoop/ Spark并行读取/写入测试
测试目的
对比Hadoop/ Spark的并行读取/写入，进行数据容量1T操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试
场景1：数据容量100G时，并行导入/导出算法的混合场景测试
用例名称
数据量100G，并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/ Spark并行导入/导出测试
测试目的
对比Hadoop/ Spark的并行导入/导出，进行数据容量100G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，并行读取/写入算法的混合场景测试
用例名称
数据量500G，并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/ Spark并行导入/导出测试
测试目的
对比Hadoop/ Spark的并行导入/导出，进行数据容量500G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，并行读取/写入算法的混合场景测试
用例名称
数据量1T，并行导入/导出的负载测试
算法
导入/导出
验证功能
Hadoop/ Spark并行导入/导出测试
测试目的
对比Hadoop/ Spark的并行导入/导出，进行数据容量1T操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的导入/导出算法
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

4.3 稳定性测试
4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试
场景1：数据容量100G时，并行读取/写入/导入/导出稳定性测试
用例名称
数据量100G，并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/ Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量100G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量100G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景2：数据容量500G时，并行读取/写入/导入/导出稳定性测试
用例名称
数据量500G，并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/ Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量500G操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量500G
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

场景3：数据容量1T时，并行读取/写入/导入/导出稳定性测试
用例名称
数据量1T，并行读取/写入/导入/导出稳定性测试
算法
读取/写入/导入/导出
验证功能
Hadoop/ Spark并行读取/写入/导入/导出稳定性测试
测试目的
对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量1T操作时，redpower服务器运行情况
前置条件

操作步骤
1.准备数据容量1T
2. 对redpower服务器进行资源监控
3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时
运行结果
类别
CPU使用率
内存使用率
I/O
NETWORK
响应时间
备注
Hadoop

Spark

Spark

5 测试交付项
测试阶段
提交文档
文档要求
测试方案
《XXX大数据平台-性能测试方案》
1、测试经理制定项目的测试计划
测试设计及实现
《XXX大数据平台-性能测试用例》
1、测试人员编写项目所有测试用例
2、评审通过后导入到禅道中，并上传至SVN服务器
测试报告
《XXX大数据平台-性能测试报告》
1、主导测试完成测试报告
2、包括性能指标分析图
6 测试执行准则
6.1 测试启动
在开始进行测试时必需满足的条件。这些条件涉及：
1. 《开发提测checklist》内容符合要求，已提交至测试部门。
2. 系统功能测试已通过。
3. 性能测试方案、测试流程、测试进度的制订已完成，并经过严格评审。
4. 性能测试所需的资源已经到位。
5. 测试组人员配置合理，测试人员的工作技能符合测试要求。
6. 性能测试所需的软、硬件和操作系统等测试环境准备完毕。
6.2 测试执行
1. 根据测试方案相关测试环境的内容，检查测试环境（包括硬件及软件），确保测试环境符合要求。
2. 对于测试用例的描述信息，按测试意图对每一个测试用例设计操作流程中重要环节的动作、输入数据和预期的反映（注：此流程可不必详细到每一个具体的步骤，但应确保测试执行人员可以据此信息顺利执行，而不必询问测试用例的开发人员）。
3. 执行测试活动，并记录执行日期，对于每个测试用例还应记录关键操作步骤、输入数据以及任何与测试人员预期结果不符的系统响应。
4. 每个测试用例执行完毕后，视具体情况对系统进行备份或根据备份数据对系统进行恢复。
6.3 测试完成
1.达到性能要求。即在指定的负载下，系统的性能指标达到测试标准； 
2.在长时间运行后，系统不崩溃，各功能正常；服务器CPU，内存，响应时间等参数保持稳定；场景运行停止后，一段时间内占用的资源可以正常释放。  
7 角色和职责
人员名称
角色
数量需求
职责

性能测试经理
1
部门经理

性能测试设计员
1
性能测试工程师

测试开发人员
3
性能测试工程师、开发工程师

测试环境准备人员
3
性能测试工程师、开发工程师

测试数据准备人员
3
相关项目配合人员

脚本场景准备人员
2
性能测试工程师、开发工程师

性能调优准备人员
2
性能测试工程师、开发工程师
8 时间及任务安排
任务名称
开始时间
结束时间
所需时长
负责人
测试方案
2016-01-06
2016-01-08
3

方案评审
2016-01-11
2016-01-11
1

环境部署

5

数据准备

5

测试场景准备

5

基准测试执行

5

负载测试执行

5

稳定性测试执行

21

测试报告

2

在实际测试过程中，由于测试环境有时不太稳定、和功能测试共用测试环境以及测试场景执行出错需重复测试等原因，实际进度可能会稍有推迟。
9 风险和应急
9.1影响方案的潜在风险
1)选择的业务流不具有代表性。即选择的测试功能点经过负荷测试和长时间测试后不能重现系统问题，如内存溢出，速度慢等问题；

选择测试功能点的原则：

客户使用系统时经常操作的业务流，以及觉得反应比较慢的几个功能模块；

2)不是在实际环境中的测试（即模拟的测试环境和客户实际使用环境配置差别较大），由于测试环境的不同，测试结果和实际使用环境中的结果有一定的出入；

3)测试环境中的数据量比实际环境中使用一段时间后的数据量要少的多，系统目前的性能不能代表数据量增长后的性能。
9.2应急措施
1.对上述潜在风险因素的应急措施逐项给以明确规定。通常的应急措施有： l 通过适当加班来保证计划的按时完成 
l 2.如果是由于被测试产品存在重大错误而严重影响测试进度，则考虑按照
测试暂停标准来暂停该测试