资源描述
测试总结报告模板
<单击此处输入项目名称>
测试总结报告模板
文档编号:
受控状态:受控
版本号:V1.0
年月日
2
山西天地科技有限公司
修 订 记 录
类别:A – 增加 M – 修改 D – 删除
版本
日期
制定
类别
批准
描述(注明修改的条款或页)
目录
1. 引言 1
1.1 目的 1
1.2 背景 1
1.3 用户群 1
1.4 定义 1
1.5 测试阶段 1
1.6 参考资料 2
2. 测试概要 2
2.1 进度回顾 2
2.2 测试执行 2
2.3 测试用例 3
2.3.1 功能性 3
2.3.2 易用性 3
3. 测试环境 3
4. 测试结果及分析 3
4.1 BUG 趋势图 3
4.2 BUG 严重程度 5
4.3 BUG 引入阶段 6
4.4 BUG 引入原因 6
4.5 BUG 解决方案分布 7
5. 测试结论 7
5.1 功能性 7
5.2 易用性 7
5.3 可靠性 8
5.4 兼容性 8
5.5 安全性 8
6. 测试分析摘要 8
6.1 覆盖率 8
6.2 遗留缺陷的影响 9
6.3 建议 10
7. 典型缺陷引入原因分析 10
测试总结报告模板
1. 引言
1.1 目的
说明编写本测试分析报告的目的,指出预期的读者。
1.2 背景
说明测试的项目名称、测试任务,必要时包括简史。
1.3 用户群
主要读者:XX 项目管理人员,XX 项目测试经理
其他读者:XX 项目相关人员。
1.4 定义
缺陷定义:
严重 bug:出现以下缺陷,测试定义为严重 bug
系统无响应,处于死机状态,需要其他人工修复系统才可复原。
点击某个菜单后出现“The page cannot be displayed”或者返回异常错误。
进行某个操作(增加、修改、删除等)后,出现“The page cannot be displayed” 或者返回异常错误
当对必填字段进行校验时,未输入必输字段,出现“The page cannot be displayed”或者返回异常错误
系统定义不能重复的字段输入重复数据后,出现“The page cannot be displayed” 或者返回异常错误
1.5 测试阶段
阶 段
输入和要求
输出
需求分析审查
Requirements Review
市场/产品需求定义、分析文档和相关技术文档
要求:需求定义要准确、完整和一致,真正理解客户的需求
需求定义中问题列表,批准的需求分析文档
测试计划书的起草
设计审查
Design Review
产品规格设计说明、系统架构和技术设计文档、测试计划和测试用例
要求:系统结构的合理性、处理过程的正确性、数据库的规范化、模块的独立性等
清楚定义测试计划的策略、范围、资源和风险,测试用例的有效性和完备性
设计问题列表、批准的各类设计文档、系统和功能的测试计划和测试用例
测试环境的准备
单元测试
Unit Testing
源程序、编程规范、产品规格设计说明书和详细的程序设计文档
要求:遵守规范、模块的高内聚性、功能实现的一致性和正确性
缺陷报告、跟踪报告;完善的测试用例、测试计划
对系统功能及其实现等了解清楚
集成测试
Integration Testing
通过单元测试的模块或组件、编程规范、集成测试规格说明和程序设计文档、系统设计文档
要求:接口定义清楚且正确、模块或组件一起工作正常、能集成为完整的系统
缺陷报告、跟踪报告;完善的测试用例、测试计划;集成测试分析报告;
集成后的系统
功能验证
Functionality Testing
代码软件包(含文档),功能详细设计说明书; 测试计划和用例
要求:模块集成 功能的正确性、适用性
缺陷报告、代码完成状态报告、功能验证测试报告
系统测试System Testing
修改后的软件包、测试环境、系统测试用例和测试计划
要求:系统能正常地、有效的运行,包括性能、可靠性、安全性、兼容性等。
缺陷报告、系统性能分析报告、缺陷状态报告、阶段性测试报告
版本发布 Release
软件发布包、软件发布检查表(清单)
当前版本已知问题的清单、版本发布报告
维护
Maintance
变更的需求、修改的软件包、测试用例和计划
要求:新的或增强的功能正常、原有的功能正常,不能出现回归缺陷
缺陷报告、更改跟踪报告、测试报告
1.6 参考资料
需求、设计、测试用例、手册以及其他项目文档都是范围内可参考的资料。
测试使用的国家标准、行业指标、公司规范和质量手册等等。
2. 测试概要
测试的概要介绍,包括测试的一些声明、测试范围、测试目的等等,主要是测试情况简介。(其他测试经理和质量人员关注部分)。
2.1 进度回顾
简要介绍本次测试所围绕的范围。
里程碑任务
计划
开始时间
计划
结束时间
计划投入人员
计划完成天数
完成情况
2.2 测试执行
此次测试严格按照项目计划和测试计划执行,按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略,在测试执行中都有体现,在测试执行过程中,依据测试计划和测试用例,对系统进行了完整的测试
2.3 测试用例
2.3.1 功能性
系统实现的主要功能,包括查询,添加,修改,删除。
系统实现的次要功能,包括为用户分配酒店,为用户分配权限,渠道酒店绑定,渠道RATE 绑定,权限控制菜单按钮。
需求规定的输入输出字段,以及需求规定的输入限制
2.3.2 易用性
操作按钮提示信息正确性,一致性,可理解性
限制条件提示信息正确性,一致性,可理解性
必填项标识
输入方式可理解性
中文界面下数据语言与界面语言的一致性
3. 测试环境
简要介绍测试环境及其配置,如果系统/项目比较大,则用表格方式列出。
软件环境:
终端类别
操作系统
相关应用软件
服务器端
客户端
硬件环境:
终端类别
机器名
设备编号
配置说明
服务器端
客户端
网络环境:
4. 测试结果及分析
4.1 Bug 趋势图
下面使用一个项目做例子:
该项目此次黑盒测试总共发布11个版本,B1—B5为计划内迭代开发版本(针对项目计划的基线标识),B6-B11为进行的回归测试版本。
bug版本趋势图如下图所示:
第一阶段,增量确认测试。
从 Bug 趋势图中可以看出,每个版本的bug 数基本维持在 60个左右。
B1:从图中看到 B1 共有 33个BUG,因为 B1 版本有一个功能模块在 B2 版本才开始测试,B1 测试模块相对较少,所以 B1 版本 bug 相对较少。
B2:由于 B1 中的一个功能模块增加到 Build 2 中进行测试,这一版本除了对 B1 中的BUG 进行验证同时对 B1 进行了回归测试,所以 B2 中的 bug 数相对 B1 出现了明显的增长趋势,
B3:B3 版本因为有 B2 版本的 bug 验收测试,以及 B1,B2 的回归测试,共发现 67个bug,和 B2 基本保持一致。
B4:B4 版本 bug 数有一个下降的趋势,是因为 B4 版本推迟发布,新增加了测试人员参与测试,对系统不够熟悉,以及测试时间紧张,部分测试用例没有执行,测试覆盖度不够,所以发现 bug 数呈下降趋势。
B5:B5 版本 bug 数又有一个增加的趋势,主要是由于开发功能模块多,该版本需求定义不明确。
第二阶段,BUG 验证和功能回归确认测试。
B6 和 B7 进行了回归测试,B8 没有进行回归测试,只验证了B1-B7的bug。
B6:进行第一轮回归测试,发现的 bug 数为 33 个,遗留一个问题,为数据字典种类默认值问题
B7:进行第二轮回归测试,第一次回归测试没有涉及到权限控制菜单按钮的测试,在本次回归测试的时候,重点进行了这个方面的测试,又发现了大量的权限相关的bug。
B8:B8 没有进行全面的回归测试,只验证了 B1-B7 未通过验证的 bug,所以该版本的 bug 数明显比较少。
B9:B9版本进行了全面的回归测试,同时重点测试了权限控制,所以发先bug 数又呈现上升的趋势。测试发现 44个bug,严重级别的 bug 为14个,严重级别的bug集中在权限控制上,功能性严重 bug 没有发现,说明权限控制依旧不稳定,但是系统功能已经稳定。
B10:B10 版本验证了 B9 版本发现得 bug,没有进行全面的回归测试。B10 版本在验证bug 的时候,重现打开 Bug6个,新增 bug2个,重新打开 bug 有 5个为严重级别 bug,是关于权限控制的 bug,而新发现的 bug,1个为严重级别的 bug,也是属于权限控制的。说明,权限控制还存在着问题,需要修改权限管理 bug,重新发布版本后进行全面的回归测试。B10版本新发现的 bug 详细分析见遗留 bug 分析。
B11:B11 中验证了 B1—B10 未验证的 bug,重点测试了权限控制,同时进行了查询,添加,删除,修改的功能测试,测试过程中未发现 bug。
4.2 Bug 严重程度
测试发现的 bug 主要集中在 Medium 和 High 阶段,Medium属于一般性的缺陷,High属于严重程度较高的缺陷。其中出现了 59 个严重级别高的 bug,出现严重级别的 bug 主要表现在以下几个方面:
系统主要功能没有实现
添加/修改数据后,出现各种代码错误和页面不存在错误。
处理流程和逻辑关系不合理
严重级别 bug 按版本分布如下:
由严重 bug 版本分布图可以看出,严重级别的 bug 版本趋势和 bug 版本趋势基本是一致的,但是,在 B7 和 B9 版本中年,严重级别的 bug 明显增多,主要原因是 B7 和 B9 版本测试了权限控制按钮功能,权限问题出现的严重级别的 bug 比较多。
权限 bug 主要表现:
具有相应按钮操作的权限,页面无相应按钮,无法执行该功能
无相应按钮操作权限,页面有相应按钮,点击按钮能出现权限异常错误
有相应按钮操作权限,有相应按钮,执行该功能出现权限异常错误
4.3 Bug 引入阶段
由上图可以看出,主要为前台编码和页面设计方面的 bug,占到了全部 bug 的 2/3。
4.4 Bug 引入原因
从上图可以看出编码导致的错误最多,主要是系统功能错误,UI错误,及兼容性错误,数据库及数据结构引起的错误。
4.5 Bug 解决方案分布
从上图bug数量总共200个,解决的bug183个,未解决的包括9个不修、和2个无效和1个重复的bug,共12个。
名词解释:不修是指一些功能或建议可以暂不修改。无法重现是指开发人员不能重现bug。
5. 测试结论
5.1 功能性
系统正确实现了通过数据字典管理基础数据的功能,实现了数据内容的多语言功能,实现了中英文界面。实现了基础数据管理,酒店集团管理,酒店基础信息管理,渠道管理,代理管理,用户管理的查询,添加,修改,删除的功能,系统还实现了将权限控制细化到菜单按钮的功能。
系统在实现用户管理下的权限管理功能时,存在重大的缺陷,权限控制不严密,权限设计有遗漏。
5.2 易用性
现有系统实现了如下易用性:
查询,添加,删除,修改操作相关提示信息的一致性,可理解性
输入限制的正确性
输入限制提示信息的正确性,可理解性,一致性
现有系统存在如下易用性缺陷:
界面排版不美观
输入,输出字段的可理解性差
输入缺少解释性说明
中英文对应的正确性
中英文混排
5.3 可靠性
现有系统的可靠性控制不够严密,很多控制是通过页面控制实现的,如果页面控制失效,可以向数据库插入数据,引发错误。
现有系统的容错性不高,如果系统出现错误,返回错误类型为找不到页面错误,无法回复到出错前的状态
5.4 兼容性
现有系统支持 window 下的 IE 浏览器和傲游浏览器,支持 linux 系统下的 IE 浏览器和火狐浏览器。
现有系统未进行其他兼容性测试
5.5 安全性
现有系统控制了以下安全性问题:
把某一个登录后的页面保存下来,不能单独对其进行操作不进行登录
直接输入某一页面的 Url 能否打开页面并进行操作不应该允许。
现有系统未控制以下安全性问题:
用户名和密码应对大小写敏感
登陆错误次数限制
6. 测试分析摘要
6.1 覆盖率
此次测试,所有测试用例都是在中文界面下执行,未在英文界面下执行,测试不包括英
文界面下的测试,也不包括正对英文翻译的测试。
此次测试,部分页面需求描述无明确的定义,对输入限制无详细定义,无明确的测试依据,在测试过程中,测试是根据输入字段含义,测试人员理解,以及和项目经理,开发人员沟通获得测试依据,无法保证测试依据的正确性和完整性,因此,没有进行完整的,正确的无效数据的测试,测试覆盖率不够,无法保证测试的有效性和正确性。
下面为此次某一项目测试用例覆盖率分析图:
6.2 遗留缺陷的影响
下面为某一项目遗留缺陷的影响:
1.缺陷描述:酒店娱乐项添加页面,“距离”字段无单位,建议增加单位
缺陷影响:距离字段无单位说明,无衡量标准,用户易用性不好
推迟原因:需求定义无单位定义,统一在升级版本中解决
2.缺陷描述:酒店基础信息管理模块,默认语言设置不一致。用中文查询酒店,进
缺陷影响:相同功能模块默认语言设置不一致,一致性不好
推迟原因:默认语言设置,目前无统一标准,升级版本中统一
3.缺陷描述:tomcat 日志有乱码,日志无项目名称,查看不方便
缺陷影响:其他项目日志都有项目名称,日志无项目名称,查看不方便
推迟原因:目前的日志为了调试方便,显示了很多其它信息,在项目正式发布时会统一处理的。
4.缺陷描述:取消政策管理要么,取消时间“天/小时”缺少单位补充字段
缺陷影响:该处因为是两个不同的单位时间,需要有另外一个单位补充字段补充所所填写内容的单位
推迟原因:该缺陷单位补充字段本来存在,翻译不够准确,不能理解为补充单位的字段,需要等翻译完毕后再确认。
5. 缺陷描述:数据字典种类修改,默认值设置后,在调用该数据字典种类的数据字典,默认值无显示
缺陷影响:数据字典种类的默认值设置后,不能显示设置的默认值,相当于数据字典类默认值设置功能未实现
推迟原因:该功能暂时不好实现,需要和和系统的默认语种一起处理。
6.缺陷描述:担保政策管理页面,“Edposit Due”缺少解释行输入描述信息
缺陷影响:缺少解释性输入描述信息,用户不理解应该输入什么内容
推迟原因:需求没有描述,需要解释性说明文字由项目经理整理后,在升级版本中添加
7.缺陷描述:多媒体添加,文件上传功能未实现
缺陷影响:文件上传功能未实现
推迟原因:该功能暂时不好完成,在下个版本中完成
8.缺陷描述:参照点添加权限和修改权限单独控制出现权限异常错误
缺陷影响:用户执行添加,修改时,出现权限异常,无法完成任务
推迟原因:B9 版本发现该权限,B10 版本未通过验证,目前该模块开发人员调休,无
法修改 bug,
9.缺陷描述:酒店渠道绑定关系权限控制出现权限异常错误
缺陷影响:a>权限控制易用性不好,会引起用户误操作;
b>权限控制错误
推迟原因:B9 版本发现该权限,B10 版本未通过验证。该模块后台无 insert 权限,只有
Update 权限,与其他模块不同,需要重新设置权限控制方式。
10.缺陷描述:酒店 Rate 绑定关系权限控制出现权限异常错误
缺陷影响:a>权限控制易用性不好,会引起用户误操作;
b>权限控制错误
推迟原因:B9 版本发现该权限,B10 版本未通过验证。该模块后台无 insert 权限,只有Update 权限,与其他模块不同,需要重新设置权限控制方式。
11.缺陷描述:新建业务管理员权限用户,进入打包促销页面出现权限异常错误
缺陷影响:除系统管理员外,其他用户无法进行打包促销操作
推迟原因:B10 版本发现该 bug,目前该模块开发人员调休,无法修改 bug
6.3 建议
在项目开始的时候应该制定编码标准,数据库标准,需求变更标准,开发和测试人员都严格按照标准进行,可以在后期减少因为开发,测试不一致而导致的问题,同时也可以降低沟通成本。发布版本的时候,正确布置测试环境,减少因为测试环境,测试数据库数据的问题而出现的无效 bug。开发人员解决 bug 的时候,填写 bug 原因以及解决方式,方便 bug 的跟踪。
开发人员在开发版本上发现bug,可以通知测试人员,因为开发人员发现的bug很有可能在测试版本上出现,而测试人员和开发人员的思路不同,有可能测试人员没有发现该 bug,而且,这样可以保证发现的 bug 都能够被跟踪。
7. 典型缺陷引入原因分析
对缺陷引入原因进行分析,可能出现的因素
附录 确认结果
确认结论
[ ] 批准
[ ] 需要少量调整
[ ] 不批准
确认意见
确认日期
确认人员签字
第8页 / 共8 页
展开阅读全文