技术白皮书.doc

DHLoad.Grid
负载均衡集群系统软件
技术白皮书

国家863网络技术应用项目：VC网格项目的网格技术研究、龙芯多媒体终端网络技术
中国科学院国家高性能计算机工程研究中心
指定推广合作单位：南宁市合强软件有限责任公司
地址：南宁市星湖路82-1号 0771-5841499 5841891/2 传真：[phone]
前 言
技术应用的需求
　　随着Internet的高速发展,用户的需求在不断提升:在用户数量呈几何级数增长和科学计算的复杂性要求计算机有更高的处理能力的同时，相关硬件如CPU的发展却无法跟上不断增长的需求，于是我们面临以下问题：
l 大规模计算需要极高的计算性能。
l 应用规模的发展使单个服务器难以承担负载。　　
l 不断增长的需求需要硬件有灵活的可扩展性。　　
l 关键性的业务需要可靠的容错防灾机制。
对于不断成长中的企业或机构来讲，数据中心或数据仓库中所保存的企业经营、管理数据的增长是十分惊人的，而这些数据对企业的作用又非常重要。企业在发展中积累下的数据是一笔宝贵的财富，通过对这些浩若烟海的数据进行分析，经营者们能够得出直观的经营图表、曲线，能够为以后企业的发展提供有力的决策支持。但是由于这样的数据随着时间的流逝不断膨胀，给相关的IT系统管理人员带来了巨大的压力。
因此，在满足用户对系统安全性能要求的不断提高，以及用户应用系统尤其是关键领域的关键性应用对可靠性要求的不断增加的同时，如何建立并且应用真正高可靠性的系统方案，已成为目前广大用户的迫切需求。关键应用系统首先要求计算机的性能不断扩展，然后是对系统的可靠性要求不断提高。而传统的单机系统存在很多问题，主要有：
（1）可用性不高；
（2）数据丢失的危险大；
（3）硬盘故障多。
而集群技术可以解决上述问题。
集群（CLUESTER）定义
集群是一组相互独立的、通过高速网络互联的计算机，他们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
和传统的高性能计算机技术相比，网格集群技术可以利用各档次的服务器作为节点，系统造价低，可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够满足当今日益增长的信息服务的需求。

网格集群系统（GRID）的特点
n 由若干完整的计算机互联组成一个统一的计算机系统；　
n 可以采用现成的通用硬件设备或特殊应用的硬件设备，例如专用的通讯设备；　
n 需要特殊软件支持，例如支持集群技术的操作系统或数据库等等；　
n 可实现单一系统映像，即操作控制、IP登录点、文件结构、存储空间、I/O空间、作业管理系统等等的单一化；　
n 在集群系统中可以动态地加入新的服务器和删除需要淘汰的服务器，从而能够最大限度地扩展系统以满足不断增长的应用的需要　
n 可用性是集群系统应用中最重要的因素，是评价和衡量系统的一个重要指标　　能够为用户提供不间断的服务，由于系统中包括了多个结点，当一个结点出现故障的时候，整个系统仍然能够继续为用户提供服务　
n 具有极高的性能价格比，和传统的大型主机相比，具有很大的价格优势；　
n 资源可充分利用，集群系统的每个节点都是相对独立的机器，当这些机器不提供服务或者不需要使用的时候，仍然能够被充分利用。
集群系统应用领域
银行、金融证券、保险、电信、政府、交通运输、互联网、IT、邮政、制造、其它

软硬件负载均衡集群产品比较
硬件负载均衡
如何处理Web上高的并发？显然，采用高性能的主机系统（如国际上普遍采用的SMP即单结构多处理节点模式）是可行的。但是，除了价格因素（价格昂贵）外，即便是采用高速、高性能的主机系统，很多情况下也不能解决同时处理几万个并发。因为，高速主机系统只是对于复杂单一任务和有限的并发处理显得高性能，而Internet中的Web Server绝大多数处理是"简单任务"、高强度并发处理，因此，即便有大资金投入采用高性能、高价格的主机系统，也不能满足Web应用的需要。
目前，世界上主要流行的、被普遍采用的是硬件负载均衡，世界上大的网络设备厂商CISCO及Intel等都有自己的负载均衡硬件产品，而有些服务器厂商则完全采用OEM的方法，将这些负载均衡设备称为 “功能服务器”，如中国浪潮的x-Server系列的71系列产品，就完全是Intel的负载均衡设备。

软件负载均衡
就Web应用来说，就是采用多台服务器组成服务器集群，将Web请求和处理任务均衡地分配给服务器集群中的多台服务器。显然，采用服务器集群方案可以大幅度提高整个Web系统的处理能力，而且与主机系统比较，价格也相对的低廉。采用PC Server服务器集群，不仅仅能大幅度降低在服务器方面的投资，更重要的是面对"简单处理、高强度并发"这样的任务，只能采用集群服务器Grid技术才可以很好地进行。

项目
硬件负载均衡
说明
DHLoad.Grid
扩展性
差
硬件接口限制
好
可管理性
差
外围应用软件少
好
易用性
差
设置复杂
好
高速性
差
分发负担
好
性价比
差
硬件投资要求高
好

不可比性
硬件负载均衡大多缺乏监测和管理功能、随时改变均衡策略、
IP定向服务、黑白客安全策略等。 特别是"动态均衡"是纯
硬件设备不可能做到的

DHLoad.Grid负载均衡系统

DHLoad.Grid负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。在ATM技术、千兆位以太网技术逐渐成熟的今天，DHLoad.Grid使用户在低廉的平台上获得了与超级计算机相匹敌的能力，以及无可比拟的动态监控与负载均衡。

开 发 背 景
DHLoad.Grid是国家863网络技术应用项目-－VC网格项目的网格技术研究，
视频系统网格应用研究，龙芯多媒体终端网络技术的系统集群解决方案。

DHLoad.Grid作为一套支持异构运行环境，可实现智能多维、异构、向量的全新负载均衡系统具有如下优势:

Ø 可伸缩性（Scalability）
当服务的负载增长时，系统能被扩展来满足需求，且不降低服务质量。DHLoad.Grid可实现高可伸缩的集群服务。实现了基于IP层负载平衡调度的方法，能灵活高效地将一组服务器组成一个高可伸缩的网络服务。这种集群结构对客户是透明的，客户访问集群提供的网络服务就像访问一台高性能、高可用的服务器一样。客户程序不受服务器集群的影响，不需做任何修改。通过在服务器集群中透明地加入和删除结点实现系统的伸缩性，通过检测结点或服务进程故障和正确地重置系统达到高可用性。

Ø 高可用性（Availability）
在部分硬件和软件会发生故障时，保证整个系统的稳定持续的7x24可用服务。

Ø 可管理性（Manageability）
整个系统可能在物理上很大，但容易管理：管理员可在系统任一节点，通过GUI图形控制界面实现全系统的状态监控与运行策略调整。

Ø 价格有效性（Cost-effectiveness）
整个系统的实现是经济的、易实现的。首先，在不增加硬件投资的情况下，DHLoad.Grid可使系统的处理能力与速度成倍提升；其次，系统对新增的应用服务器的需求将大幅降低，甚至可采用普通的PC。
支持的平台
操作系统 Windows NT,Windows 2000,Linux,Solaris,Unix 等。
数据库系统 Oracle,Sybase,SQL Server 等。
网络协议 TCP/IP,SPX/IPX。
性能指标特点
最小切换时间: 1/1000秒
负载分配策略: 动态可调
并发接入服务器数量: 不限(实际受限于应用带宽)
并发应用服务器数量: 不限(实际受限于应用带宽)
并发数据库服务器数量: 不限(实际受限于应用带宽)
各服务器组的对应关系: 由管理服务器动态指定(多对多)
管理方式: 支持远程管理

负载均衡技术实现结构
在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加 吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：
 ◆解决网络拥塞问题，服务就近提供，实现地理位置无关性 ；
 ◆为用户提供更好的访问质量；
     ◆提高服务器响应速度；
     ◆提高服务器及其他资源的利用效率；
     ◆避免了网络关键部位出现单点失效。

  负载均衡的层次
DHLoad.Grid负载均衡技术支持客户端负载均衡技术、应用服务器技术、高层协议交换、网络接入协议交换及DHLoad.Grid向量高性能均衡等几种方式。

客户端负载均衡

应用负载均衡

动态域名系统

高层协议交换

DHLoad.Grid向量均衡
负载均衡的层次模型
管理服务器

矩阵向量负载均衡系统

状态能力管理
调度适配
均衡适配
链路管理

网络系统

 DHLoad.Grid结构模型

矩阵向量负载均衡系统
Ø 链路管理系统:对接入设备及集群内连接的实时智能管理。
Ø 均衡适配系统:负载分发管理。
Ø 调度适配系统:进程调度管理。
Ø 状态能力管理系统:对集群内所有节点负荷状态的监控和管理。

DHLoad.Grid网络负载均衡提高了诸如Web服务器、FTP服务器和其他关键任务服务器上的因特网服务器程序的可用性和可伸缩性。单一计算机可以提供有限级别的服务器可靠性和可伸缩性。但是，通过将两个或两个以上高级服务器的主机连成群集，网络负载均衡就能够提供关键任务服务器所需的可靠性和性能。
DHLoad.Grid负载均衡服务具体分为本地负载均衡服务和远程负载均衡服务。

本地负载均衡服务
能够平衡服务器群中所有的服务器和应用之间的通信负载，根据实时响应时间进行判断，将任务交由负载最轻的服务器来处理，以实现真正的智能通信管理和优秀的服务器群性能。服务器故障切换和多重冗余特性可以让通信绕过故障点, 从而使用户站点始终保持运行和可访问性。并且，每次提供负载均衡服务后，网络应用负载均衡器都有记录，每天都会自动生成一个报告，客户通过这一报告还能了解流量的分布情况。
远程负载均衡服务
这一系统针对拥有多个站点的企业进行专门设计，能够根据单个URL地址将通信路由到方便可用的站点，从而实现广域网范围的负载平衡。为了提高响应速度，采用 “极端响应模式”，使所有的站点都能对同一用户的访问请求作出响应，响应最快的站点将接受并完成这一访问任务，而不是在发生用户请求时计算“最快”的路由因而产生额外的延迟时间。管理员可以采用这种模式确保很短的服务器响应时间，也可以选择对用户满意度产生更大影响的其他算法。系统在后台收集多站点状态信息，如服务器响应时间、通信量、本地系统状态，从而能够立即确定每个数据中心的状态，并将访问导向最佳站点。

DHLoad.Grid功能特点
Ø 不用增加任何额外硬件投资，通过纯软件方式实现，且对硬件配置及环境结构无任何要求与更改。
Ø 多维集群机制：实现系统任意层的负载均衡。
Ø 可支持Notes、Exchange、SQL Server、Sybase、Informix、Oracle 、SAP等多种系统的应用层热恢复。
Ø 无需传统地大规模磁盘阵列池存储模式，同时也支持共享磁盘阵列柜方式，给用户提供了灵活经济的存储方案性。
Ø 在任意方式下，实现多台不同平台服务器各自运行不同应用且相互备份，即实现多Active运转模式。
Ø 数据保护：实现Oracle、Sybase、Informix等数据库/数据仓库的监控和切换。
Ø 对节点的数目几乎没有限制。
Ø 支持多种平台\数据类型的异构混合运行环境。
Ø 易用的集群管理接口：简单的管理工具,多样化人性化的GUI图形控制界面。使管理和重配置大型的集群变得更容易。
Ø 在系统软硬件维护期间仍然保持应用的有效性。
Ø 配置简便，完全参数化，一般情况无需编程，易于维护。
Ø 应用程序不需为支持高可用性而做任何修改。
Ø 动态在线集群配置：一个节点可动态的加入集群或从中删除而不会导致应用的中断。
Ø 在服务不间断的情况下对节点进行维护：用户可以将节点从集群中删除，对其进行升级，然后再将其重新加入到集群中，而集群的服务不会受到任何影响。
Ø 支持TCP/IP，允许通过LAN或WAN连接。节点间的安全连接。
Ø 对于错误的快速监测和快速恢复：最大限度地保护用户端的应用连续性。用户的软、硬件资源均能处于DHLoad.Grid的保护之下，当这些被保护资源出现技术故障时，DHLoad.Grid可随时实施系统资源切换。
Ø DHLoad.Grid占用系统资源极少，不增加网络负荷，且不打扰任何具体应用系统的任何操作。

DHLoad.Grid优势比较

DHLoad.
Grid
其它产品
说明
代表产品
负载均衡
本地/远程
本地

PolyServe Localcluster
并发访问
可以
不一定
并发冲突
Apptime .Watchdog
节点规模
不限制
限制

PolyServe Understudy cluster
数据复制
能
不能
需第三方产品
Legato Grid
平台内核
无关
需改动

Mission Critical Linux Convo/ Red Hat High Availability Server/ TurboLinux cluster Server
存储方案
不限制
限制
系统局限性
SteelEyeLifeKeeper
体系结构
无关
限制
基于特定硬件
Hewlett-Packard MC/ServiceGuard
启动时间
极快
慢
数据校验
多数产品
切换时间
1/1000S
50S以上

自动回切
能
不能

SteelEyeLifeKeeper/ Legato cluster