F5服务器负载均衡测试方案.doc

负载均衡设备测试方案

（第一版）

2007年7月
目 录
1、测试方案说明 3
2、测试拓扑 5
3、性能测试 6
3.1 TPS（每秒新建连接数）测试 6
3.2 并发连接数测试 8
4、负载均衡功能测试 11
4.1 负载均衡方式测试 11
4.2 主机健康检查功能测试 12
4.3 主机维护功能 12
5、HA测试（可选） 13
5.1 负载均衡设备故障切换测试 13
5.2 局域网交换机故障切换测试 14
6、安全性测试 15
6.1 HTTP访问源地址限制测试 15
6.2 SSH/HTTPS访问控制 15
7、附加功能测试（可选） 16
7.1 应用优化：连接复用OneConnection测试 16
7.2 应用优化：内存缓存RamCache测试 16
7.3 应用优化：HTTP压缩测试 16
7.4 应用优化：SSL流量卸载和加速测试 16
7.5 应用优化：带宽管理RateShaping（QOS）测试 16
7.6 安全：DOS防护测试 16

1、测试方案说明
项目概况：

· XXXX四台服务器需要做服务器负载均衡；
· 未来可能更多的应用需要做服务器负载均衡；
· 测试周期：X月X日-X月X日
· 测试设备：F5 LTM 3400 or LTM6400
· 大致访问量：

客户需求：

· 采用负载均衡设备对四台XXXX系统应用服务器进行负载均衡。
· 通过健康检查机制ECV对web service进行可用性检查，保证能够及时发现应用故障，快速切换用户访问到健康的应用服务器上。
· 采用HTTP Cookie Insert会话保持方式，将同一用户的第二次访问请求定向到先前的应用服务器上，从而保证应用的粘连性。
· 采用单臂路由的系统连接方式，启用F5 SNAT机制，从而保证原先应用系统的IP地址和网关地址变动最小。
· 采用负载均衡设备双机热备方式，确认整个系统的高可用性（可选）。
竞争友商
-

Why F5

· 系统架构方面：F5系统连接方式可以串联，可以旁路，可以做端口汇聚，非常灵活，对原有系统的平滑升级影响最小。
· 软件功能：完善的服务器负载均衡能力，特别是在应用健康检查和会话保持方面是业界最完整和最完善的，经常得到BEA，Oracle，SAP技术人员的推荐。
· 硬件性能：通过LoadRunner压力测试，设备运行稳定，系统资源还留有余量，为今后的访问量提供了支持。
· iRules：业界唯一的可编程控制流量，可以更加精细地管理和控制流量（包括第七层应用流量管理）。
· 应用优化支持：目前使用到F5 OneConnection连接复用和优化功能，能够大大提高服务器的工作效率。今后还可以升级HTTP压缩和内存Cache等优化功能。

F5的解决方案：

· 采用单臂路由方式将1台LTM3400割接到原先的生产网中，通过SNAT机制，改变客户端的源地址，从而在服务器IP地址和网关不变的情况下，使得服务器的http response经过LTM3400回到客户端，保证了整个数据包流程的正确性。
· 2台LTM3400双机热备，同时采用硬件级串口心跳切换和网络级故障切换两种冗余切换机制，保证了整个系统的高可用性（可选）。
· LTM上定义了一个VS（虚拟服务器），调用了离校系统应用服务器群，满足用户负载均衡的需求，保证7*24应用服务能力。
· 对应用服务器进行HTTP ECV（内容检查），实时监测应用的可用性。
· 在对应用服务器负载均衡的过程中，启用HTTP Cookie Insert会话保持机制，将同一用户的第二次以后的访问请求定向到先前的应用服务器上，从而保证应用的粘连性。
· 通过对TCP三次握手的SynCheck机制，扫描和阻断Synflood等DOS攻击行为。
· 激活OneConnect连接复用和优化功能，大大减少了服务器的连接数，增加了服务器的处理能力。

关键技术阐述：

· 灵活地组网方式，高效的双机切换机制。
· 基于HTTP Cookie的会话保持机制。
· iRule—可编程的高级流量控制和管理接口。
· 丰富的应用优化机制：OneConection，SSL Offload，HTTP Compression,RamCache，TCP Express，WebAccelerator，RateShaping等。

2、测试拓扑
测试图一：（测试环境，单臂路由连接方式）

测试图二：（生产环境，建议单臂路由+端口汇聚连接方式）

3、性能测试
3.1 TPS（每秒新建连接数）测试
衡量负载均衡设备的关键性指标为每秒新建连接数、最大并发连接数。XXXXXXXX系统应用服务器面对全校进行HTTP服务，负载均衡设备的选择必须要能满足超过100K request/second新建会话数的要求。因此该项测试必须模拟出真实的HTTP环境。要满足以下几个要求：
1、背景流量必须真实加载在负载均衡设备，即负载均衡设备必须完成TCP HTTP背景流量的负载均衡；
2、满足XXXXXXXX系统的真实业务要求，负载均衡设备对于TCP HTTP timeout 时间不得短于10秒；
3、在加载背景流量的同时下，Client可访问正常的web Server；

项 目1：真实流量下的TPS性能压力测试（要求有大量客户端，可以是生产网运行）
测试目的： 衡量负载均衡设备的关键指标为每秒新建连接数、最大并发连接数。测试使用多台Client模拟大量IP地址进行HTTP连接请求（生产网环境），以验证四层交换在大量源IP地址、大量新增HTTP请求下的性能。
测试要求：1、必须打开待测试备的四层交换功能；
2、HTTP TCP timeout时间为10秒；
3、流量必须真实加载在负载均衡设备上，即该设备必须完成对HTTP TCP真实流量的负载均衡。
测试配置：参见测试拓扑1
测试过程：
1） 检查负载均衡设备是否打开四层交换能力；
2） 确认负载均衡设备对TCP timeout时间为10秒；
3） 在负载均衡设备上配置2个Virtual IP地址，一个用于加载背景流量，一个用于正常（真实）HTTP访问
4） 在真实流量逐步增大的情况下，使用Client对用于正常访问的Virtual IP进行HTTP请求，查看HTTP请求响应情况；
5） 使用命令行或Web界面管理界面动态观察实时的并发会话数和每秒新进会话数。
6） 查看负载均衡设备的CPU、Memory情况，以验证负载均衡设备在大量IP地址、大量新增连接请求下的性能。
预期结果：1、真实流量能够通过负载分担到内部的服务器上；
2、Client可访问到正常的HTTP服务器 Virtual IP；
3、负载均衡设备的CPU利用率较低；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
对每秒新增会话数、HTTP请求情况和CPU的对应关系做记录：
测试结果：

项 目2：模拟背景流量下的TPS性能压力测试
测试目的： 衡量负载均衡设备的关键指标为每秒新建连接数、最大并发连接数。测试使用LoadRunner进行HTTP连接请求，以验证四层交换在相同或有限多个源IP地址、大量新增HTTP请求下的性能。
测试要求：1、必须打开待测试备的四层交换功能；
2、HTTP TCP timeout时间为10秒；
3、LoadRunner发出的背景流量必须真实加载在负载均衡设备上，即该设备必须完成对HTTP TCP背景流量的负载均衡。
测试配置：参见测试拓扑1

测试过程：
1） 检查负载均衡设备是否打开四层交换能力；
2） 确认负载均衡设备对TCP timeout时间为10秒；
3） 在负载均衡设备上配置2个Virtual IP地址，一个用于加载背景流量，一个用于正常（真实）HTTP访问；
4） 打开负载均衡设备上针对背景流量的逐包负载均衡机制，确保背景流量的每个报文均为一个新建会话，以测试负载均衡设备性能；
5） 配置负载均衡设备前端LoadRunner发送测试流量，并逐步提高LoadRunner每秒发送的HTTP请求量，直至设备标称值。
6） 查看在此阶段中负载均衡设备发出和返回的流量，分析背景流量报文在负载均衡过程中是否有丢失；
7） 在背景流量逐步增大的情况下，使用Client对用于正常访问的Virtual IP进行HTTP请求，查看HTTP请求响应情况；
8） 使用命令行或Web界面管理界面动态观察实时的并发会话数和每秒新进会话数。
9） 查看负载均衡设备的CPU、Memory情况，以验证负载均衡设备在大量IP地址、大量新增连接请求下的性能。
预期结果：1、背景流量能够通过负载分担到内部的服务器上；
2、Client可访问到正常的HTTP服务器 Virtual IP；
3、负载均衡设备的CPU利用率较低；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
对每秒新增会话数、HTTP请求解析情况和CPU的对应关系做记录：
测试结果：

3.2 并发连接数测试
项 目1：真实流量下的并发连接数性能压力测试（要求有大量客户端，可以是生产网运行）
测试目的： 衡量负载均衡设备的关键指标为每秒新建连接数、最大并发连接数。因此此次测试使用多台Client模拟大量IP地址进行HTTP连接请求（生产网环境），以验证四层交换在大量源IP地址、大量新增HTTP请求下的并发连接数。
测试要求：1、必须打开待测试备的四层交换功能；
2、HTTP TCP timeout时间设为60秒；
3、流量必须真实加载在负载均衡设备上，即该设备必须完成对HTTP TCP真实流量的负载均衡。。
测试配置：参见测试拓扑1
测试过程：
1） 检查负载均衡设备是否打开四层交换能力；
2） 确认负载均衡设备对TCP timeout设置为60秒；
3） 在负载均衡设备上配置2个Virtual IP地址，一个用于加载背景流量，一个用于正常（真实）HTTP访问；
4） 在真实流量逐步增大的情况下，使用命令行或Web界面管理界面动态观察实时的并发会话数和每秒新建会话数，直至到达标称的最大连结数指标。
5） 查看负载均衡设备的CPU、Memory情况，以验证负载均衡设备在大量IP地址、大量新增连接请求下的性能。
预期结果：1、真实流量能够通过负载分担到内部的服务器上；
2、Client可访问到正常的HTTP服务器 Virtual IP；
3、负载均衡设备的CPU利用率较低；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
对每秒新增会话数、会话连接数、HTTP请求解析情况和CPU的对应关系做记录：
测试结果：

项 目2：背景流量下的并发连接数性能压力测试（满负荷测试）
测试目的： 衡量负载均衡设备的关键指标为每秒新建连接数、最大并发连接数。因此此次测试使用LoadRunner进行HTTP连接请求，以验证四层交换在相同或有限多个源IP地址、大量新增HTTP请求下的并发连接数。
测试要求：1、必须打开待测试备的四层交换功能；
2、HTTP TCP timeout时间设为60秒；
3、背景流量必须真实加载在负载均衡设备上，即该设备必须完成对HTTP TCP背景流量的负载均衡。
测试配置：参见测试拓扑1
测试过程：
1） 检查负载均衡设备是否打开四层交换能力；
2） 确认负载均衡设备对TCP timeout设置为60秒；
3） 在负载均衡设备上配置2个Virtual IP地址，一个用于加载背景流量，一个用于正常（真实）HTTP访问；
4） 配置负载均衡设备前端多台Client上的压力测试工具LoadRunner，并逐步提高每秒发送的HTTP请求量。
5） 在背景流量逐步增大的情况下，使用命令行或Web界面管理界面动态观察实时的并发会话数和每秒新建会话数，直至到达标称的最大连结数指标。
6） 在背景流量逐步增大，设备最大连结数逐步增大的情况下，使用Client对用于正常访问的Virtual IP进行HTTP请求，查看HTTP请求响应情况；
7） 查看负载均衡设备的CPU、Memory情况，以验证负载均衡设备在大量IP地址、大量新增连接请求下的性能。
预期结果：1、背景流量能够通过负载分担到内部的服务器上；
2、Client可访问到正常的DNS服务器 Virtual IP；
3、负载均衡设备的CPU利用率较低；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
对每秒新增会话数、会话连接数、DNS请求解析情况和CPU的对应关系做记录：
测试结果：
4、负载均衡功能测试
4.1 负载均衡方式测试
项 目：负载均衡方式的测试
测试目的： 负载均衡设备支持基于轮询和比例等方式的负载均衡功能。
测试要求：1、必须打开待测试备的四层交换功能；
2、HTTP TCP timeout时间为10秒；
测试配置：参见测试拓扑1
测试过程：
1） 检查负载均衡设备是否打开四层交换能力；
2） 确认负载均衡设备对TCP timeout时间为10秒；
3） 配置负载均衡设备前端多台Client上发布测试流量，使用从目前HTTP节点采集的真实HTTP请求流量对背景流量的Virtual IP进行HTTP请求。
4） 设置负载均衡设备的负载均衡策略为轮询方式，使用命令行或Web界面管理界面动态观察各台服务器上实时的会话数，判断是否满足轮询策略；
5） 设置负载均衡设备的负载均衡策略为比例方式，使用命令行或Web界面管理界面动态观察各台服务器上实时的会话数，判断是否满足比例策略；
预期结果：1、负载均衡设备的负载均衡策略满足设定要求；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
对不同负载均衡策略设定下的负载均衡情况做记录：
测试结果：

4.2 主机健康检查功能测试
项 目：主机健康检查功能的测试
测试目的： 负载均衡设备支持基于主机HTTP进程的健康检查功能。
测试要求：1、必须打开待测试备的健康检查功能；

测试配置：参见测试拓扑1
测试过程：
1） 检查负载均衡设备是否打开主机健康检查功能；
2） 配置负载均衡设备对后台HTTP服务器的HTTP内容健康检查功能。
3） 查看负载均衡设备中针对后台HTTP主机的健康检查状态；
4） 人为中止某台HTTP主机的tomcat进程，查看负载均衡设备中针对该HTTP主机的健康检查状态，并确认在此情况下负载均衡的流量状况；

预期结果：1、负载均衡设备能够实现基于业务的主机健康检查；
2、主机进程故障的情况下，能够通过健康检查发现主机的故障，并停止向该主机发布负载均衡的流量；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。

测试结果：

4.3 主机维护功能
项 目：负载均衡设备对内部主机维护功能测试
测试目的： 负载均衡设备支持内部HTTP主机的维护功能。
测试要求：

测试配置：参见测试拓扑1
测试过程：
1） 负载均衡设备可以将内部Pool中的某台服务器状态设置为立即停用状态或逐步停用状态；
2） 在立即停用状态下，该服务器将立即停止服务，原有用户连接中断；
3） 在逐步停用状态下，负载均衡设备将不再给该服务器发送新的请求，服务器继续处理原有用户的连接，直至用户请求为0；

预期结果：1、负载均衡设备能够实现两种方式的主机维护功能；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。

测试结果：
5、HA测试（可选）
5.1 负载均衡设备故障切换测试

项 目：负载均衡设备切换测试
测试目的：测试负载均衡设备在出现故障的情况下网络切换能力
测试配置：

测试过程：
1） 配置测试环境，以及四层交换设备。
2） 从Client上发送HTTP请求，目的地为HTTP的VIP地址。
3） 中断主用的负载均衡设备，记录HTTP请求响应数据包丢包情况，并计算收敛时间。
预期结果：

测试说明：
测试结果：

5.2 局域网交换机故障切换测试

项 目：局域网交换机切换测试
测试目的：测试局域网交换机在出现故障的情况下网络切换能力
测试配置：
测试过程：
4） 配置测试环境，以及四层交换设备。
5） 从Client上发送HTTP请求，目的地为HTTP的VIP地址。
6） 中断一台局域网交换机，记录HTTP请求响应数据包丢包情况，并计算收敛时间。
预期结果：

测试说明：
测试结果：

6、安全性测试
6.1 HTTP访问源地址限制测试
项 目：业务访问源地址限制
测试目的：测试某个VIP对访问源地址的限制功能
测试配置：

测试过程：
1） 如图1配置测试环境，以及四层交换设备。
2） 在HTTP请求解析的VIP上允许/拒绝外部Client的IP地址段的访问，查看外部Client的HTTP访问情况；
预期结果：只有在IP地址段被允许的情况下，外部client才能正常得到HTTP服务器的请求响应；

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
测试结果：

6.2 SSH/HTTPS访问控制
项 目：管理安全性测试
测试目的：测试负载均衡设备的管理安全性, 通过加密的通讯来对设备进行控制, 保证安全.
测试配置：

测试过程：
3） 如图1配置测试环境，以及四层交换设备。
4） 在测试用户机上对负载均衡设备发起http/telnet的访问, 会被拒绝, 在使用Https/SSH访问时被提醒认证, 通过后才进入管理界面。
预期结果：负载均衡设备管理在网络上的所有流量都是加密的, 没有明码出现.

测试说明：
判定原则：测试结果必须与预期结果相符，否则不符合要求。
测试结果：
7、附加功能测试（可选）
7.1 应用优化：连接复用OneConnection测试
7.2 应用优化：内存缓存RamCache测试
7.3 应用优化：HTTP压缩测试
7.4 应用优化：SSL流量卸载和加速测试
7.5 应用优化：带宽管理RateShaping（QOS）测试
7.6 安全：DOS防护测试