CM--集群管理与负载均衡系统.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2013/7/11,#,1,CM-,集群管理与负载均衡系统,五竹,搜索,与算法,目录,背景介绍,1,整体架构,4,功能,特性,3,性能与应用,2,背景介绍,1,性能与应用,2,整体架构,4,功能,特性,3,目录,背景,介绍,Clustermap(CM)-,集群管理与负载均衡系统,起源于,淘,宝商品,搜索引擎,.,主要解决如下问题,:,如何知道服务节点,(searcher),是否可用,如何选取一行服务节点，并能保持各行之间的负载均衡,如何选取某一列的一个,节点,不停服务的情况下，增减机器,Before,背景,介绍,伴随,着淘宝,搜索业务的,发展,，,CM,面临越来越多的挑战：,集群,间的集群状态管理与负载均衡的要求越来越多，如,SP,需要知道其下面的所有服务的拓扑和存活,状态,.,服务,定位更复杂，同一个物理集群，可以做为多个不同的逻辑集群对外提供服务，并且其下的服务节点，在不同的连辑集群中，状态可以不一样。如,etao HA3,集群。,服务,的信息颗粒要求更小，如,UPS,系统中，需要知道某张表的分区，分布在那些节点上,。,替换,LB,设备，网内集群间的流量越来越大,(,每天几十亿,),，,LB,设备的成来也越来越大,.,背景,介绍,性能,更强大，支持更多的节点。,HA3,原来采用,zookeeper,来做心跳，集群到,2000,台左右时，出现性能瓶颈。,运,维管理需求,根据,cpu_busy,latency,iowait,等来自动下线,offline,机器,除主动心跳外，还支持,更多的服务有效性检查,测试,.,2.2012,年,CM,经过了一次重构，以便更好的支持,集群,间的服务定位与发现的应用需求,.,Now,背景介绍,1,功能特性,2,整体架构,4,性能与应用,2,目录,性能与应用,性能,测试,说明,测试环境：,linux 2.6.18-164.el5,cpu,:,16 core Intel(R,)Xeon(R)CPU,E5620 cpu,MHz:,2400,memory:32G,测试结果,在无,CM,级连的情况下,单个,CMServer,可以同时支持,:,心跳,汇报节点,(,汇报周期,100ms)10000,个,4/7,层健康检查节点,(,检查周期,1s)6000,个,订阅,节点,(,更新周期,1s)4000,个,瓶颈主要是千,M,网卡的带宽占满,性能与应用,应用,性能与应用,应用,管理搜索内部所有集群，,14,个业务线,31,个集群,统一搜索内部,所有服务定位和集群状态管理,替换搜索内部,LB,负载均衡设备,(,近,50,亿,PV),目录,CONTENTS,背景介绍,1,功能特性,2,整体架构,3,性能与应用,4,功能特性,订 阅,心跳汇报,运维管理,健康检查,同步,ConfigServer,负载均衡,监控,&,报警,PHP,扩展,名词说明,Cluster,:,多,个节点组成的,集合称为一个,Cluste,r,CMServer,:,ClusterMap,内部的服务端，,管理,集群和节点,HBNode,:,表示心跳汇报节点，汇报自己状态信息到,CMServer,Subscriber,:,订阅者,，,与,CMServer,通讯，获取,集群,信,息,CMSubProxy:,订阅者代理,，,订阅者功能基础上还会写共享内存,CMCtrl,:,工具，用来提供集群的增,/,删,/,改，,节点的,上下线,ConfigServer:,淘宝的一个管理配置的服务,功能,特性,心跳汇报,1/,汇报类型,需要,预先配置的节点,不,需要预先配置的直接汇报,的节点,2/,节点可以,汇报心跳和负载信息，及用户自定义的数据,信息,3/,支持一个节点对应多个,集群,即一个节点在多个集群中存在,4/,支持一个节点注册多个端口和协议,功能,特性,健康检查,节点健康检查,节点不需要向,CMServer,汇报，,CMServer,会主动定期检查节点的状态是否正常,包括四层健康检查，和七层健康检查,同时支持一个节点对应多个,集群,定义,4/7,层健康检查协议，可以向,CM,返回集群系统状态（,cpu_busy,等,),qps,latency,信息,(,暂未实现,),功能,特性,同步,ConfigServer,CMServer,上的节点信息同步到,ConfigServer,根据配置,可以将某些集群的信息同步的,ConfigServer,方便基于,Hsf/Configserver,框架的,Java,前端，这样就可以通过,ConfigServer,来获取搜索后台服务的有效节点信息,直接访问,而不再通过,VIP,方式访问,功能,特性,订 阅,1/,订阅集群方式,订阅所有集群,根据配置，订阅,1,个或多个集群,2/,集群的拓扑结构,类似于,Kingso,的物理集群到拓扑集群,1-1,映射,类似与,Ups,的物理集群到拓扑集群,1-N,映射,3,/,支持本机房优先分配的策略,4,/,支持订阅者为虚节点，只订阅不发心跳,5,/,支持多种语言的订阅,(C,Php,Java,Lua,Node.js),功能,特性,订 阅,6,/,对外提供的查询接口,allocRow,获取一行节点,allocValidRow,获取一行有效节点,allocNodeOfPartition,获取一列的所有节点,allocValidNodeOfPartition,获取一列的所有有效节点,allocNodeByPartitionId,获取一个,TopoCluster,的某个分区中分配一个的节点,6)allocValidNodeByPartitionId,获取一个,TopoCluster,某个分区中分配一个可用的节点,allocAllNode,获取集群所有节点,allocAllValidNode,获取集群所有有效节点,getNodeStatus,根据节点,spec,获取当前节点的状态,getNodeMetaInfo,根据节点,spec,获取当前节点的,MetaInfo,信息,getPartitionCnt,获取一个,TopoCluster,中的分区数,getNodeCntOfPartition,获取一个,TopoCluster,中的某分区的节点数,功能,特性,负载均衡,LB_ROUNDROBIN,轮询,随机分配,LB_RANDOM,LB_WEIGHT,根据权重,LB_CONHASH,指定行失败后，用一致性获取节点,指定选取哪一行,LB_LOCATING,功能,特性,PHP,扩展,订阅者支持:Nginx+Php,基于共享内存方式同步集群变更信,息的,CMSubProxy,和,Php,Extension Lib,订阅者支持:Nginx+Lua,基于共享内存方式同步集群变更信息的,CMSubProxy,和,Lua Extension Lib,订阅者支持:TNginx,基于共享内存方式同步集群变更信,息的,CMSubProxy,和,T,nginx,M,odule,功能,特性,1/,集群配置隔离，方便管理,ClusterMap,做到一个集群,只在一个配置文件里，,不同集群互不影响,运维管理,2/,集群操作,添加,，删除，查询，上线，下线,3,/,节点,操作,添加,，删除，查询，上线，下线,4/,支持节点自动下线,当,节点的负载或者,Qps,超过节点承受能力时,，,CMServer,可以自动下线该节点,功能,特性,5/,支持,CMServer,级联,即,一台,CMServer,订阅另一台,CMServer,上的集群,6/,支持,CMServer,主从切换,不,需要同步集群信息,通过的,ZK,的,leader,选举机制，进行,CMServer,主从切换，即当前的,CMMaster,服务停掉，,ZK,上会立即选举一个,CMMaster,，新的,Master,会从,ZK,上拿到集最新的集群全量信息,运维管理,功能,特性,监控,&,警报,监控,&,报警,Zk,服务监控,CMServer,服务和配置文件监控,集群状态和内部节点的状态监控,同步到,ConfigServer,上的节点信息监控,WebServer,上下线集群和节点,查看所有的订阅者,查看集群状态和内部节点的状态,查看同步到,ConfigServer,上的节点信息,目录,背景介绍,1,功能特性,3,整体架构,4,性能与应用,2,整体架构,整体架构,ZK,提供,可靠的持久化存储服务,与,Leader,选举,机制实现多台,Server,间主从互备,整体架构,管理机器，负责管理集群拓扑结构、收集节点状态信息、,向订阅者,推送,集群状态信息,CMServer,整体架构,Server,级联功能,CMServer2,整体架构,运维管理,工具：用来提供集群的增,/,删,/,改，节点的,offline/online,等操作,CMCtrl,整体架构,操作集群，监控和报警,WebServer,整体架构,定期向,CMServer,汇报心跳和负载信息,HBNode,整体架构,CMServer,端定期检查服务状态、,APPServer,3#,整体架构,定期同步管理的结点信息给,ConfigServer,ConfigServer,整体架构,集群的订阅者，先向,CMServer,订阅集群信息，构建拓扑集群,Subscriber,整体架构,读取共享内存，构建内部拓扑结构,FE,发展,展望,快速应对业务需求，支持多种语,言的服务,监控更加简洁智能、运维自动化,探索更智能的负载均衡策略,搜索内外部流量使用,CM2,替换负载均衡设备,跨,越,只,为走得更远。,Thanks!,淘五竹,tiechou,