软件测试实验报告.docx

软件质量保证与测试实验报告 实验一 用例设计1. 实验目的(1) 能够熟练应用黑盒测试技术进行测试用例设计(2) 对测试用例进行优化测试2. 实验设备主流PC机一套，安装有jdk、jre、tomcat、mysql，至少两种主流浏览器，截屏或录屏软件3. 实验内容（1）为QQ的注册账号功能设计测试用例。详细的界面可打开QQ网站的注册账号链接查看，每个字段的要求点击相应的输入域即可看到。（2）教材二上的大学学籍管理系统中的登录和添加学生信息功能。4. 实验要求从实验内容（1）和（2）选择一项内容，使用黑盒测试的方法设计测试用例，撰写实验报告选做实验内容15、 QQ注册页面测试功能（注册账户）有效等价类无效等价类昵称1.必填2.不能超过24个字母或12个汉字（可以包含特殊字符）1.不填2. 24个字母 12个汉字密码1.必填2.长度为6-16个字符3.不能包含空格4.不能是9位以下纯数字不填小于6个字符大于16个字符包含空格纯数字确认密码必填密码一致不填不同的密码性别二选一生日在所供给的范围内（公历：18982017年 1-12月 1-31日）1898.1.12017.3.2（农历：18982017年 1-12月 1-30 超过范围除数字外的字符所在地在所供给的范围内超过范围数字或字母或其他特殊字符手机号码有效手机号无效手机号短信验证码有效无效Tab键是否有效注册失败返回页面是否显示出正确信息测试用例：序号输入期望结果1在“昵称”文本框什么也不输提示昵称不可以为空2AWE#%$#%&*(&#$!#（蠕虫这是第一次数字世界战争）提示不能超过24个字母或12个汉字3在“昵称”文本框输入“！#”提示该昵称可以使用4在“密码”文本框什么也不输提示密码不可以为空5在“密码”文本框输入“123ab”提示长度为616个字符6在“密码”文本框输入“Shool #$+”提示不能包含空格7在“密码”文本框输入“123”提示不能是9位以下纯数字8在“密码”文本框输入“123456789”提示该密码可以使用9在“密码”文本框输入“Shool#$+”提示该密码可以使用10在“确认密码”文本框输入与“密码”文本框不一样的内容提示密码不一致11在“确认密码”文本框输入与“密码”文本框相同的内容提示密码设置成功12阴历阳历、年、月、日四个下拉列表框检测能正常拉动13下拉列表中内容的显示能显示完整的内容14选择下拉列表中的内容后在相应显示栏显示内容正确显示所选内容15点击输入显示框是有光标闪烁光标闪烁，等待输入16在下拉列表中选择农历、1990、10、07正确显示选择的内容17在显示输入框输入农历、1990、10、07正确显示输入的内容18在年框中，月框，日框中分别输入超过列表的时间自动跳转到今年的1月1日19国家、省、市三个下拉框检测能正常拉动20下拉列表中内容的显示能显示完整的内容21选择下拉列表中的内容后在相应显示栏显示内容正确显示所选内容22点击输入显示框是有光标闪烁光标闪烁，等待输入23在下拉列表中选中中国、河南、郑州正确显示选择的内容24在显示输入框输入中国、河南、郑州正确显示输入的内容25在手机号框中输入不正确的号码提示输入正确号码26在手机号框中输入正确的号码正确显示输入的内容27输入与系统给的验证码不一致请输入正确的验证码28输入与系统给的验证码一致验证码输入正确29同时开通qq空间和我已阅读并同意相关服务条款两个多选项检测可以同时被选中30我已阅读并同意相关服务条款下拉列表框检测能正常拉动31选择qq号码规则能正常显示内容32选择qq空间协议能正常显示内容33点击立即注册按钮恭喜注册成功34Tab键是否正确响应Tab键能正确响应顺序35输入框是否支持复制和黏贴和移动 输入输出昵称密码确认密码性别年月日所在地手机号验证码期望结果为空提示昵称不可以为空AWE#%$#%&*(&#$!#（蠕虫这是第一次数字世界战争）可以通过！#为空提示密码不能为空123ab提示长度为6-16个字符Shool#$+可以通过Shool #$+提示不能为空格123提示不能是9位以下纯数字123456789可以通过Shool#$+为空提示请再输入密码Shool#$+shool提示密码不一致昵称密码确认密码性别年月日所在地手机号安全验证验证码期望结果！#Shool#$+Shool#$+可以通过男189811可以通过男1897自动跳转至2017年女201732可以通过女201733自动跳转至1日2005228下拉选择否则自动跳转中国 安徽 马鞍山下拉选择为空跳转另一页面提示请完成安全验证为空或非数字错误选择提示验证错误正确手机号正确正确申请成功6、实验总结通过本次实验，我掌握了利用黑盒测试技术进行简单的测试用例设计，能够对登录等简单功能实现的进行测试，同时加深了我对黑盒测试的理解和掌握。实验二 Web系统测试1.实验目的掌握用例执行及缺陷报告的书写方法。2.实验设备主流PC机一套，安装有jdk、jre、tomcat、mysql，至少两种主流浏览器，截屏或录屏软件3.实验内容执行实验1中的测试用例，准确描述发现的缺陷。4.实验要求将所发现的缺陷进行详细描述，撰写实验报告，附件若必要，也可使用视频，截取图片或抓取视频时，需要有浏览器的标题栏和地址栏。5、举例缺陷案例1：返回页面需重新填写信息缺陷标题：QQ注册官方首页:注册失败返回页面所填信息为空 测试平台与浏览器：Windows 7 + IE10或360安全浏览器测试步骤：1. 打开QQ注册官网: 2. 分别在IE与360安全浏览器上观察主页信息3. 正确填写前面信息，至手机验证填写错误，出现“你未通过安全验证，注册失败”4. 点击返回，观察页面期望结果：返回页面显示前面所填正确信息实际结果：返回页面中前面所填正确信息全为空 举例缺陷案例2：发送短信验证存在问题缺陷标题：QQ注册官方首页:用错误收件人号码发送短信验证显示注册成功测试平台与浏览器：Windows 7 + IE10或360安全浏览器测试步骤：1. 打开QQ注册官网: 2. 正确填写前面信息，填写正确手机号，用错误收件人号码（106906021077）发送短信1完成验证期望结果：注册失败实际结果：申请成功举例缺陷案例3：同一人同一手机号可重复注册相同QQ缺陷标题：QQ注册官方首页:同一人相同的手机号可重复注册相同QQ测试平台与浏览器：Windows 7 + IE10或360安全浏览器测试步骤：1. 打开QQ注册官网: 2. 正确填写自己已注册QQ相同信息，并填写同一手机号，完成验证期望结果：提示此QQ已被你注册过实际结果：申请成功6、实验总结通过本次实验，我掌握了如何查找缺陷，以及编写正确的缺陷描述标准格式。同时找到了一些常见的bug，也掌握了bug查找的一些规律，相信这对我学习本课程有了极大帮助。实验三 代码分析与单元测试1.实验目的掌握白盒测试方法，并用白盒测试方法设计测试用例；掌握使用Junit进行单元测试的方法。2.实验设备主流PC机一套，安装有Java的集成开发环境MyEclipse3.实验内容请按要求对下面的Java代码进行测试。代码的功能是：用折半查找法在元素呈升序排列的数组中查找值为key的元素。public int binSearch(int array,int key) 1int mid,low,high;2low=0;3high=array.length-1;4while(low=high)5mid=(low+high)/2;6if(key=arraymid)7return mid;8else if(keyarraymid)9high=mid-1;10else11low=mid+1;12 13return -1;14 (1) 用基本路径测试给出测试路径；(2) 为各测试路径设计测试用例。（3）利用Junit实施自动测试4.实验要求撰写实验报告，给出测试用例，测试的源代码，及测试执行成功与否的截图。5. 实验步骤及结果截图（1） 绘制程序流程图：程序的控制流图 2） 测试路径设计测试用例。（3）利用Junit实施自动测试源程序：测试结果与预期结果一致。总结：白盒测试与程序内部结构相关，因此也称为结构测试或逻辑驱动测试，而在进行百合测试时，测试者必须检查程序的内部结构，从程序的逻辑结构着手，得出测试数据。实验四 性能测试与结果分析1. 实验目的（1）掌握性能测试的原理，及使用LoadRunner进行性能测试的方法；（2）掌握分析测试结果的基本方法。2. 实验设备主流PC机一套， LoadRunner 8.03. 实验内容（1）选择大学学籍管理系统或loadrunner自带系统的登录功能；（2）录制脚本（即创建虚拟用户脚本）；（3）创建场景（设置用户数 0) lr_output_message(登录成功，继续执行.); else lr_error_message(登录失败，退出测试); return -1; 上述代码的意思是说，如果登录失败了，就退出脚本的迭代，那么什么原因可能会导致登录失败呢？就是我们前面参数化的设置，一旦Vuser分配不到正确的登录账号，就可能导致登录失败，从而引起Vuser停止运行。所以，从图5- 7的表现，可以认为参数化是没有问题的。图1- 7运行的并发数图测试脚本中我们还使用了集合点，那么这里还可以看看集合点在场景执行过程中的表现，点击左边的“New Graph”，出现图5- 8，展开“Vusers”前的加号，双击“Rendezvous”，出现集合点的图形后，点击【Close】，关闭添加新图界面。图1- 8添加集合点统计图集合点的图形如图1- 9所示，从图中可以看到，所有用户到达集合点后，立刻就释放了。与之前设定的集合点策略设置“所有运行用户到达后释放“是一致的。假设这样的一种情况，Running的Vusers有10个，集合点策略设置是“所有运行用户到达后释放”，而集合点图形显示的最大释放Vusers是7个，那么就表示有些Vuser超时了，引起超时的原因可能是Vuser得到的响应超时了，可以结合平均事务响应时间再详细分析原因。图1- 9集合点状态图我们本次测试Running Vusers与集合点是一致，说明整个场景执行过程中，并发数用户的执行正确，OA系统测试服务器能够应付7个并发用户的业务操作。 响应时间在性能测试要求中我们知道，有一项指标是要求登录、考勤业务操作的页面响应时间不超过3秒，那么本次测试是否达到了这个要求呢？我们先来看“Average Transaction Response Time（平均事务响应时间图）”（图1- 10），这张图是平均事务响应时间与结果摘要中的“Transaction Summary”合成的。图1- 10平均事务响应时间图从图形下部我们可以看到，登录部分对应的Action是“submit_login”，考勤业务提交对应的Action是“submit_sign”，他们的“Average Time（平均响应时间为）”分别是4.425秒与0.848秒，从这两个数值来看，考勤业务的事务响应时间0.848秒小于预期的3秒，达到了要求，而登录是4.425秒，大于预期的3秒，不符合要求。这样的结果是不正确的，因为在统计的登录业务的时候，我们没有去除思考时间，所以，登录功能的实际事务时间应该是4.425秒-3秒=1.425秒，小于预期的3秒，故登录业务的事务响应时间也达到了我们的要求。在平时的性能测试活动中，统计结果的时候需要去掉思考时间，加上思考时间是为了真实的模拟用户环境，统计结果中除去思考时间是为了更真实的反映服务器的处理能力，两者并不矛盾。看完了“Average Time”，我们再看“90 Percent Time”，这个时间从某种程度来说，更准确衡量了测试过程中各个事务的真实情况，表示90%的事务，服务器的响应都维持在某个值附近，“Average Time”值对于平均事务响应时间变动趋势很大的情况统计就不准确了，比如有三个时间：1秒、5秒、12秒，则平均时间为6秒，而另外一种情况：5秒、6秒、7秒，平均时间也为6秒，显然第二种比第一种要稳定多了。所以，我们在查看平均事务响应时间的时候，先看整体曲线走势，如果整体趋势比较平滑，没有忽上忽下的波动情况，取“Average Time”与“90 Percent Time”都可以，如果整体趋势毫无规律，波动非常大，我们就不用“Average Time”而使用“90 Percent Time”可能更真实些。从图5- 10可以看出，所有Action平均事务响应时间的趋势都非常平滑，所以使用“Average Time”与“90 Percent Time”差别不是很大，用哪个都可以。这里是使用最常用的统计方法“90 Percent Time”。登录业务的“90 Percent Time”是5.298秒-3秒（思考时间）=2.298秒，考勤业务的“90 Percent Time”是1.469秒，没有思考时间，那么就是实打实的啦。根据上面的计算，本次测试结果记录如表1所示。测试项目标值实际值是否通过登录业务响应时间=3秒2.298秒Y考勤业务响应时间=3秒1.469秒Y登录业务成功率100%考勤业务成功率100%登录业务总数30分钟完成2000考勤业务总数30分钟完成2000CPU使用率75%内存使用率70%表1测试结果对照表一 每秒点击数“Hits per Second（每秒点击数）”反映了客户端每秒钟向服务器端提交的请求数量，如果客户端发出的请求数量越多，与之相对的“Average Throughput (bytes/second)”也应该越大，并且发出的请求越多会对平均事务响应时间造成影响，所以在测试过程中往往将这三者结合起来分析。图1- 11显示的是“Hits per Second”与“Average Throughput(bytes/second)”的复合图，从图中可以看出，两种图形的曲线都正常并且基本一致，说明服务器能及时的接受客户端的请求，并能够返回结果。如果“Hits per Second”正常，而“Average Throughput (bytes/second)”不正常，则表示服务器虽然能够接受服务器的请求，但返回结果较慢，可能是程序处理缓慢。如果“Hits per Second”不正常，则说明客户端存在问题，那种问题一般是网络引起的，或者录制的脚本有问题，未能正确的模拟用户的行为。具体问题具体分析，这里仅给出一些建议。图1- 11每秒点击数与每秒吞吐量复合图对于本次测试来说，“Hits per Second”与“Average Throughput (bytes/second)”都是正常的，而且整体表现还是不错的。一般情况下，这两种指标用于性能调优，比如给定了几个条件，去检测另外一个条件，用这两个指标衡量，往往起到很好的效果。比如要比较某两种硬件平台的优劣，就可以使用相同的配置方法部署软件系统，然后使用相同的脚本、场景设计、统计方法去分析，最终得出一个较优的配置。 业务成功率“业务成功率”这个指标在很多系统中都提及到，比如电信的、金融的、企业资源管理的等等。举个例子，我们楼下的建行，假如每天的业务类别是这样的：20个开户，5个销户，300个存款，500取款，100个汇款等，那么在做他们的营业系统测试时就需要考虑业务成功率了，一般不得低于98%。具体的业务成功率是什么意思呢？排除那些复杂的业务，比如异步处理的业务（移动的套卡开通就是异步的），业务成功率就是事务成功率，用户一般把一个Aciton当做一笔业务，在LoadRunner场景执行中一笔交易称为一个事务。所以，说业务成功率其实就是事务成功率、通过率的意思。在“Transaction Summary”中我们可以很明确的看到每个事务的执行状态，如图1- 12所示。图1- 12事务状态统计图从图中可以看出，所有的Aciton都是绿色的，即表示为Passed，同时除了vuser_init与vuser_end两个事务，其他的事务通过数为2163，也就表明在30分钟的时间里，共完成了2163次登录考勤业务操作。那么根据这些可以判断本次测试登录业务与考勤业务的成功率是100%，再次更新测试结果记录表如表2所示。测试项目标值实际值是否通过登录业务响应时间=3秒2.298秒Y考勤业务响应时间=3秒1.469秒Y登录业务成功率100%100%Y考勤业务成功率100%100%Y登录业务总数30分钟完成20002163Y考勤业务总数30分钟完成20002163YCPU使用率75%内存使用率70%表2测试结果对照表二 系统资源系统资源图显示了在场景执行过程中被监控的机器系统资源使用情况，一般情况下监控机器的CPU、内存、网络、磁盘等各个方面。本次测试监控的是测试服务器的CPU使用率与内存使用率，以及处理器队列长度，具体的数据如图1- 13所示。图1- 13测试服务器系统资源监控结果图从图中可以看出，CPU使用率、可用物理内存、CPU的队列长度三个指标的曲线逗较为平滑，三者的平均值分别为：53.582%、83.456M、8.45，而测试服务器总的物理内存为384M，那么内存使用率为（384-83.456）/384=78.26%，根据本次性能测试要求的：CPU使用率不超过75%，物理内存使用率不超过70%这两点来看，内存的使用率78.26%大于预期的70%，故内存使用率不达标。根据Windwos资源性能指标的解释，一般情况下，如果“Processor Queue Length（处理器队列长度）”一直超过二，则可能表示处理器堵塞，我们这里监控出来的数值是8.45，而且总体上保持平衡，那么由此推断，测试服务器的CPU也可能是个瓶颈。同时在测试过程中，场景执行到23分半钟的时候，报出了错误！未找到引用源。的错误，意思是说被监控的服务器当前无法再进行计数器数据的获取了，所以，本次操作系统资源的监控只得到了场景执行的前23分半钟的数据。这样对本次测试结果有一定的影响。获得上述数据后，最新的测试结果记录表如表3所示。测试项目标值实际值是否通过登录业务响应时间=3秒2.298秒Y考勤业务响应时间=3秒1.469秒Y登录业务成功率100%100%Y考勤业务成功率100%100%Y登录业务总数30分钟完成20002163Y考勤业务总数30分钟完成20002163YCPU使用率75%53.582%Y内存使用率SOFTWARE-Apache Software Foundation-Process Runner 1.0-Tomcat5-Parameters”修改两个属性，一个是JvmMs，另外一个是JvmMx，如图1- 18所示。2、 检查程序代码，使用一些内存泄露检查工具进行清查。图1- 18修改Tocat的JVM数据 数据库服务器资源数据库服务器资源监控相对来说就复杂的多了，现在常用的数据有Mysql、SQL Server、Oracle、DB2等，LoadRunner提供对后面几种数据库的监控方法，但对Mysql没有提供对应的监控方法。他不提供，咱们就自己找监控工具，我这里使用的是Spotlight，该工具监控数据库的好处是配置连接简单，不仅能监控数据库，还能监控操作系统的资源，监控结果直观明了。错误！未找到引用源。显示了Mysql数据库在场景执行过程中SQL语句的执行情况，从图中可以看到，“Selects（查询）”与“Inserts（插入）”两种语句执行的趋势在场景执行过程中是比较平滑，并且测试中没有错误发现，也就说明在处理相关业务时Mysql的处理是正常的。假如这两种SQL语句任何一个出现波动很大的情况，就可以推出在场景执行过程中存在页面错误，因为这些语句不执行，就表明某些页面未被加载或者某些功能未被使用。在本次测试中，OA系统的“oa.jsp”页面有大量的“Selects（查询）”语句，而考勤操作则是“Inserts（插入）”，所以，只要有一方出问题，必然表示测试过程中存在页面打不开或者考勤不成功的错误。通过前面的分析，在查看错误！未找到引用源。中的SQL语句执行状态，本次测试在页面访问、功能执行方面是没有问题的。