linux下配置tomcat集群的负载均衡.docx

linux下配置tomcat集群的负载均衡
一、首先了解下与集群相关的几个概念
集群：
集群是一组协同工 作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但 事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
·  可扩展性－－集群的性能不限于单一的服务实体，新的服 务实体可以动态地加入到集群，从而增强集群的性能。
·  高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：

·  负 载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
·  错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服 务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡 和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。
  集 群分类：
Linux集群主要分成三大类( 高可用集群， 负载均衡集群，科学计算集群)
高可用集群( High Availability Cluster)
常见的就是2个节点做 成的HA集群，有很多通俗的不科学的名称，比如"双机热备", "双机互备", "双机".
高可用集群解决的是保障用户的应用程序持续对外提供服 务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程 度)。
负载均衡集群(Load Balance Cluster)
    负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服 务器集群、数据库集群 和应用服务器集群都属于这种类型。
   负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器 上。从检查其他服务器状态这一点上 看，负载均衡和容错集群很接近，不同之处是数量上更多。

科学计算集群(High Performance Computing Cluster)
   高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
负载均衡与双机热备的区别
   负载均衡是在这多台服务器之上增加了一台负载均衡服务器，负载均衡服务器的作用是把用户的请求平均分配到每个节点；增加集群整体的处理能力；实现网络访 问的均衡。
  双机热备相当于2台服务器其中有一台是另一台的备机，也可以互为备机；主机在运行服务时，备机处于检测状态，主机发生故障后，备机 将接管主机的服务。
  负载均衡是解决服务器压力过大，网络请求大量并发而设计的产品; 负载均衡的优点：WEB访问流畅，用户请求平均分布在每个节点上。
   双机热备是为保障24*7小时高可用不停机而推出的产品; 双机热备的优点是：能保障用户服务不间断。
  负载均衡的缺点：适用静态WEB，如果是数据库将不起作用，数据库的多向同步目前还没有完全解决的 方案。
  双机热备缺点：用传统加加阵列的方式增加了存储空间，同样也形成了单点故障；有可能双机热备成为虚设，因为一旦阵列崩溃，服务也意味这 停止。
Tomcat集群的三种负载均衡方式优缺点对照
1.使用DNS轮询.
2.使用Apache R-proxy方式。
3. 使用Apache mod_jk方式.

DNS轮询的缺点是，当集群中某台服务器停止之后，用户由于dns缓存的缘故，便无法访问服务，
必 须等到dns解析更新，或者这台服务器重新启动。
还有就是必须把集群中的所有服务端口暴露给外界，没有用apache做前置代理的方式安全，
并 且占用大量公网IP地址，而且tomcat还要负责处理静态网页资源，影响效率。
优点是集群配置最简单，dns设置也非常简单。

R- proxy的缺点是，当其中一台tomcat停止运行的时候，apache仍然会转发请求过去，导致502网关错误。
但是只要服务器再启动就不存 在这个问题。

mod_jk方式的优点是，Apache 会自动检测到停止掉的tomcat，然后不再发请求过去。
缺点就是，当停 止掉的tomcat服务器再次启动的时候，Apache检测不到，仍然不会转发请求过去。

R-proxy和mod_jk的共同优点是.可 以只将Apache置于公网，节省公网IP地址资源。
可以通过设置来实现Apache专门负责处理静态网页，让Tomcat专门负责处理jsp和 servlet等动态请求。
共同缺点是：如果前置Apache代理服务器停止运行，所有集群服务将无法对外提供。
R-proxy和 mod_jk对静态页面请求的处理，都可以通设置来选取一个尽可能优化的效果。
这三种方式对实现最佳负载均衡都有一定不足，mod_jk相对好 些，可以通过设置lbfactor参数来分配请求任务。

二、配置tomcat集群的方法（Apache mod_jk方式）
环 境  linux redhat  4台，安装tomcat和apache，和jdk配置的过程过于基础，略过，这里主要讲述如何配置
版本： linux redhat  server 5.4企业版  tomcat6.0  apache2.2  jdk1.6
1.依次在前三台机器安 装tomcat，jdk并配置环境变量等信息；
2.在第四台机器安装apache
3.配置apache服务器
a：在apache 网站或其他站点下载mod_jk-1.2.26-httpd-2.2.4.so文件（不一定非要这个版本），将该文件复制到apache的modules 目录，并设置读执行权限 用chmod 777 *或其他命令
b:在apache_home目录下的conf/httpd.conf文件中添加
LoadModule jk_module modules/mod_jk-1.2.26-httpd-2.2.4.so   
JkWorkersFile conf/workers.properties   
JkMount /* lbcontroller   
代码解释
LoadModule jk_module modules/mod_jk-1.2.26-httpd-2.2.4.so   //表示载入JK模块
JkWorkersFile conf/workers.properties    //tomcat实例配置
JkMount /* lbcontroller       //设置apache分发器，/*表示apache将所有文件都由分发器lbcontroller 进行分发，你可以自行设置*.jsp,*.do等
c: 配置 workers.properties文件

在apache_home下conf目录中新建workers.properties文 件，输入以下内容

worker.list=lbcontroller   
#Tomcat1实例配置   
worker.tomcat80.host=10.71.144.80
worker.tomcat80.port=8009  
worker.tomcat80.type=ajp13  
# 分发权重 值越大负载越大   
worker.tomcat1.lbfactor = 1   
#Tomcat2实例配置   
worker.tomcat81.host=10.71.144.81
worker.tomcat81.port=8009  
worker.tomcat81.type=ajp13  
# 分发权重 值越大负载越大   
worker.tomcat81.lbfactor = 1  

#Tomcat3实例配置   #负载均衡分发控制器   
worker.tomcat82.host=10.71.144.82
worker.tomcat82.port=8009  
worker.tomcat82.type=ajp13  
# 分发权重 值越大负载越大   
worker.tomcat82.lbfactor = 1  

worker.lbcontroller.type=lb   
worker.lbcontroller.balance_workers=tomcat80,tomcat81,tomcat82
worker.lbcontroller.sticky_session=True  
代 码解释
worker.list=lbcontroller  //内容即为httpd.conf文件中的分发器名称。需要注意的内容 是，tomcat实例名称

worker.tomcat80.host=....   
...   
worker.tomcat82.host=....   
...  
//这里就是tomcat80和tomcat82必须与之后tomcat中的server.xml中jvmRoute值一致

4. 配置tomcat集群

配置每个tomcat目录下的server.xml文件，具体修改内容如下
a：Engine配置
修 改前
<Engine name="Catalina" defaultHost="localhost">  
修改后
<Engine name="Catalina" defaultHost="localhost"  jvmRoute="tomcat80" >  
具 体tomcat中jvmRoute的值根据在workers.properties的配置，注意IP地址、tomcat实例名称和jvmRoute值必须 一一对应，其他的tomcat配置方法一致

b：Cluster配置
<!--  
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" >  
-->  
修 改后，去掉注释并添加一些内容如下

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"  channelSendOptions="8">      

       <Manager className="org.apache.catalina.ha.session.DeltaManager"     
                expireSessionsOnShutdown="false"     
                notifyListenersOnReplication="true"/>      

       <Channel className="org.apache.catalina.tribes.group.GroupChannel">      
         <Membership className="org.apache.catalina.tribes.membership.McastService"     
                     address="228.0.0.4"     
                     port="45564"     
                     frequency="500"     
                     dropTime="3000"/>      
         <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"     
                    address="auto"  
                   port="4001"     
                   autoBind="100"     
                   selectorTimeout="5000"     
                   maxThreads="6"/>      
         <!-- timeout="60000"-->      
         <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">      
           <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />      
         </Sender>      
         <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>      
         <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>      
         <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>      
       </Channel>      

       <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"     
              filter=""/>      
       <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>      

       <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>      
       <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>      
     </Cluster>  
上述配置跟tomcat官方建议的配置，去掉了
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"  
                   tempDir="/tmp/war-temp/"  
                   deployDir="/tmp/war-deploy/"  
                   watchDir="/tmp/war-listen/"  
                   watchEnabled="false"/>  
如果不去掉这部分，则tomcat启动会报"FarmWarDeployer can only work as host cluster subelement!."
c:session复制配置
tomcat集群中的 session管理，主要有两种方式：
1).粘性session
表示从同一窗口发来的请求都将有集群中的同一个tomcat进行处理。配 置方式是在上面workers.properties文件中
worker.lbcontroller.sticky_session=True   
粘性session的好处在不会在不同的tomcat上来回跳动处理请求，但是坏处是如果处理该session的tomcat崩溃，那么之后 的请求将由其他tomcat处理，原有session失效而重新新建一个新的session，这样如果继续从session取值，会抛出 nullpointer的访问异常。
2).session复制
session复制是指tomcat彼此之间通过组播方式将session 发到各个tomcat实例上，如果其中一个访问出错，则另外tomcat仍然具有有效的session内容，从而能正常接管其session。坏处是当 tomcat实例很多，或者用户在session中有大量操作时，组播发送的信息量十分惊人。session复制配置则是在发布的web应用程序中的 web.xml中添加
<distributable/>
此外,session复制所需的JDK必须是JDK 5.0及其以上版本
5.测试配置
新建一个jsp页面，写入如下代码，保存index.jsp，分别在tomcat的webapp目录下建 立ydl文件夹，将写好的index.jsp文件上传到3台服务器的tomcat\webapp\ydl目录下
测试的index.jsp文件内容
<%@ page contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
  out.println("<br> ID " + session.getId()+"<br>");
  // 如果有新的 Session 属性设置
  String dataName = request.getParameter("dataName");
  if (dataName != null && dataName.length() > 0) {
     String dataValue = request.getParameter("dataValue");
     session.setAttribute(dataName, dataValue);
  }
  out.print("<b>Session 列表</b>");
  Enumeration e = session.getAttributeNames();
  while (e.hasMoreElements()) {
     String name = (String)e.nextElement();
     String value = session.getAttribute(name).toString();
     out.println( name + " = " + value+"<br>");
         System.out.println( name + " = " + value);
   }
%>
  <form. action="index.jsp" method="POST">
    名称:<input type=text size=20 name="dataName">
     <br>
    值:<input type=text size=20 name="dataValue">
     <br>
    <input type=submit>
   </form>
</body>
</html>

重 启apache服务器和三个tomcat服务器,到此集群负载均衡已配置完成。测试负载均衡先测试apache,访问
http://10.70.144.80/ydl/index.jsp
看 能够运行,能运行，则已建立负载均衡
关闭和启动任何一个tomcat，另外两个tomcat前台打印相关日志信息并自动复制一份session
a：先启动 apache服务器httpd
b：启动名为tomcat80的服务器
  前台启动tomcat输出日志方法
#cd /home/support/tomcat-apache6.0/bin
#./catalin.sh  run

在浏览器中输入访 问地址http://10.70.144.80/ydl/index.jsp
可 以看到请求被转发到了tomcat80进行处理
c:启动tomcat81
可以发现，tomcat81启动后搜索到了tomcat2实例， 并进行了session复制，在tomcat2的控制台也可以找到输出打印日志
关闭tomcat80（ctrl+c）后继续刷新url访问。 tomcat81控制台中输出的session 依然与之前tomcat80中的一致，并且在session中保存的属性值仍然有效。