双活数据中心技术研究方案PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,双活数据中心技术研究方案汇报,双活数据中心研究项目组,2025年6月3日,汇报内容,第一部分 技术总体架构,1,第二部分 系统层技术研究方案,2,第三部分 网络层技术研究方案,3,第四部分 技术方案总体分析,4,第五部分 测试方案,5,2,双活,/,多活数据中心实现方案,系统,平台,存储,网络,Web,应用,数据库,访问,接入,层,CN2 MPLS/,核心网,存储,存储,存储,上海集电港,上海卡园,北京稻香湖,自动选择处理中心,自动选择处理中心,WEB/,应用同城负载均衡,数据库集群,/,同城读写分离,数据同步复制,WEB/,应用异步接管,数据异步复制,虚拟机站点恢复,虚拟机迁移,资源动态跨中心扩张,虚拟阵列,存储同步复制,存储异步复制,同城裸光纤高速连接,构建同城大局域网,异地高速专线连接,网络延迟小,Internet,Internet,Internet,3,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,4,汇报内容,第一部分 技术总体架构,1,第三部分 网络层技术研究方案,3,第五部分 测试方案,5,第二部分 系统层技术研究方案,（应用、数据库、主机、存储）,2,第四部分 技术方案总体分析,4,5,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,6,WEB/,应用层双活实现机制,实现方式,主机集群,应用软件集群,负载均衡,简要描述,采用主机操作系统本身的集群功能实现中心内部,/,中心之间的双活,采用应用中间件自身的集群功能实现中心内部,/,中心之间的双活,采用负载均衡设备来实现中心内部,/,中心之间的双活,切换时间,实时切换,实时切换,实时切换,应用程序,不需要改变,不需要改变,不需要改变,增加设备,/,软件,集群卡,/,高速交换机,负载均衡设备,可扩展性,一般,一般,强,负载分配方式,动态,动态,动态,实现方式,复杂,较简单,简单,中心内部,较强,较强,强,跨中心,弱,弱,强,WEB/,应用层双活实现机制主要有三种，一是基于主机集群技术，二是基于,WEB SERVER/,应用中间件软件自身集群软件实现功能，三是基于负载均衡设备方式,7,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,城域互联,站点选择服务器,WEB,层双活工作机制,8,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,WEB,层双活工作机制,城域互联,站点选择服务器,9,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,WEB,层双活工作机制,城域互联,站点选择服务器,10,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,应用层双活工作机制,城域互联,11,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,应用层双活工作机制,城域互联,12,Web,层,应用层,数据库层,上海卡园,上海集电港,北京稻香湖,应用层双活工作机制,城域互联,13,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,14,数据库层双活实现示意图,跨机房的,ORACLE RAC,集群,+VPLEX,，实现数据零丢失和数据库实时切换,跨机房的数据库利用数据同步复制技术，通过应用部署实现读写分离,数据库层双活实现机制主要有两种，一是基于,ORACLE RAC+VPLEX,，二是基于,ORACLE DATAGUARD/GOLDENGATE,15,数据库层双活实现机制,-ERAC,16,数据库层双活实现机制,-ERAC,17,数据库层双活实现机制,-,读写分离,主应用域,应用域,1,主数据库,应用域,2,应用域,k,客户端,1,客户端,2,客户端,k,RAC,Node1,RAC,Node2,RAC,Nodej,备数据库,Oracle DB,Server,Active Data Guard,辅助应用域,应用域,1,应用域,i,镜像库,Oracle DB,Server,Golden Gate,SharePlex,存储复制等,灾备,精算,18,数据库层双活实现机制,-,读写分离,主应用域,应用域,1,主数据库,应用域,2,应用域,k,客户端,1,客户端,2,客户端,k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域,1,应用域,i+k,镜像库,Oracle DB,Server,Golden Gate,SharePlex,存储复制等,灾备,精算,19,数据库层双活实现机制,-,读写分离,主应用域,应用域,1,主数据库,应用域,2,应用域,k,客户端,1,客户端,2,客户端,k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域,1,应用域,i+k,镜像库,Oracle DB,Server,主、辅助应用域,应用域,1,应用域,i+k,20,数据库层双活实现机制对比,实现方式,ORACLE RAC+VPLEX,DATAGUARD/GOLDENGATE,简要描述,通过打通卡园和集电港的二层网络和实现存储虚拟化，数据库集群得以跨越卡园和集电港两个中心，共同承担业务系统的运行，数据库实时同步，一个中心的集群存在问题，另一个中心实时接管,数据库采用本地,Oracle RAC,，同城采用,DATAGUARD,同步机制，在同步的基础上通过,”,读写分离,“,实现应用双活,切换时间,实时切换,分钟级,应用程序,不需要改变,不需要改变,增加设备,/,软件,VPLEX,设备,DATAGUARD/GOLDENGATE,可扩展性,一般,好,负载分配方式,动态,静态,实现方式,较为复杂,简单,数据丢失,无,分钟级,/,秒级,/,无,网络要求,跨中心网络延迟要求在毫秒级以内,要求打通大二层网络,无要求,21,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,22,系统平台层双活实现机制,上海卡园,上海集电港,VirtualCenter,Site Recovery,Manager,VirtualCenter,Site Recovery,Manager,数据存储组,阵列复制,数据存储组,HA,、,Vmotion,等,北京稻香湖,北京稻香湖,23,VMFS,Active-Active,ESX,备份代理,VPLEX Metro,城域互联,RTT5ms,卡园,集电港,AccessAnywhere,LAN,SAN,SAN,VPLEX Metro,FC,VMFS,Active-Active,Storage Array,Storage Array,ITOI,VDC,集中监控,控制台,Avamar,Data Store,Avamar,Data Store,Avamar,Proxy VM,ITOI,虚拟,服务器,Nexus 7000,Nexus 7000,ESX,ESX,ESX,备份代理,ITOI,虚拟,服务器,ESX,ESX,SAN,SAN,LAN,备份数据复制,虚机在线透明迁移,基于,VPLEX,技术的虚拟机双活,解决方案,24,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,25,存储复制示意图,利用基于存储的数据复制，可以实现灾备，但不能实现实时双活，灾备数据不能实时使用，切换时间较长。,26,主机卷工作示意图,主机,磁盘阵列,磁盘阵列,城域互联,Logic,Volume,上海集电港,上海卡园,Physical,Volume,Physical,Volume,镜像,I/O,I/O,I/O,同步距离,利用基于主机的卷管理软件，实现物理卷映射为逻辑卷的方式，将两个数据中心的物理卷，映射为一个主机可见的逻辑卷。并在逻辑卷的层次，实现,I/O,分离。,27,城域互联,虚拟机群,10110,10110,10110,10110,ACK,ACK,ACK,ACK,同步距离,主机,主机,磁盘阵列,磁盘阵列,V-Plex Cluster-1/,上海卡园,V-Plex Cluster-2/,上海集电港,分布式的设备部署,存储双活示意图,28,存储双活实现机制,实现方式,主机卷复制技术,存储虚拟化技术,存储复制技术,SAN,网络复制技术,简要描述,通过安装在主机上的卷管理工具，实现存储的复制功能,通过存储虚拟化技术，实现跨中心的数据库复制技术,通过存储复制软件实现跨中心的数据复制,通过,SAN,网络实现数据复制技术,切换时间,实时,实时,小时级,小时级,应用程序,不需要改变,不需要改变,不需要改变,不需要改变,增加设备,/,软件,卷管理工具,VPLEX,存储复制软件,SAN,网络管理软件,可扩展性,不强,强,强,不强,存储要求,不高,不高,存储同构,SAN,交换机同构,性能,占用主机资源，要求进行数据迁移,较高，对主机和存储透明,占用存储资源,占用,SAN,网络资源,数据丢失,零丢失,零丢失,零丢失,零丢失,网络要求,要求带宽高,要求打通大二层网络，网络延迟低,要求网络带宽高,要求网络带宽高,存储双活实现机制主要有四种：一是基于主机卷复制技术，二是基于存储虚拟化技术；三是基于存储复制技术，四是基于,SAN,网络复制技术,29,汇报内容,第一部分 技术总体架构,1,第二部分 系统层技术研究方案,2,第五部分 测试方案,5,第三部分 网络层技术研究方案,3,第四部分 技术方案总体分析,4,30,双活,/,多活数据中心实现层次,访问接入层,Web,层,应用层,数据库层,存储层,访问接入层,Web,层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web,层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,31,扁平化网络接入,网络扁平化，将实现全公司业务终端的便捷网络接入和快速网络传输；,将实现网络平台与业务平台松耦合的跨越，降低业务系统部署位置对用户端的影响；,核心网将成为多中心网络传输平台，有效保障了多活中心的灵活部署；,大大降低多活中心广域网部署复杂度和资金投入；,32,访问接入层的双活实现机制,实现方式,传统站点轮询,站点选择负载均衡设备,简要描述,采用客户端设多个,IP,地址采用,IP,轮询方式（开发程序配合），选用适合的站点,采用站点负载均衡设备，通过策略设计，使得用户访问最适合的站点,切换时间,分钟,级,(,手动策略有关,),实时,应用程序,需要修改,不需要修改，应用不变,增加设备,不需要,增加站点负载均衡设备和,DNS,服务器,可扩展性,低,高,站点分配方式,静态连接,可根据数据中心负载，用户距离分配,资源利用率,低，访问资源较为固定，资源利用率不高,高，可根据应用负载和距离自动分配，资源利用率高,为满足双活数据中心的需求，必须使客户端的请求在多个中心进行智能选择，实现业务的连续性,(,性能最优,/,故障切换,/,按需连接,),，实现站点选择通常有两种方式，一是传统站点轮询技术，二是站点负载均衡技术,33,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,访问接入层的双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,站点选择设备,站点选择设备,js.cbps8.clic,城域互联,1,1.5,1.5,2,3,用户端通过公司内网,DNS,解析域名请求，,DNS,解析请求被转向站点选择设备,站点选择设备探测域名所对应的多个服务器的状态，并返回最合适的服务器,IP,地址，以实现多数据中心间负载均衡,用户访问对应的,WEB/,应用服务器,当其中一个数据中心的,WEB/,应用服务器出现故障或数据中心出现故障：,用户自动流量自动切换到正常数据中心的服务器，从而实现双活,重点,站点选择设备对,WEB/,应用服务器状态的检测,34,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,WEB/,应用层双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,js.cbps8.clic,城域互联,1,2,2,用户不直接访问服务器，而是访问负载均衡设备的虚拟,IP,负载均衡设备探测虚,IP,对应的多个服务器的状态，将流量指向合适的服务器，并在业务处理过程中保持会话的一致性,当其中一台,WEB/,应用服务器出现故障时：,用户自动流量自动切换到正常的服务器，从而实现数据中心内部高可用,当数据中心出现故障时：,通过访问接入层策略将流量迁引至正常数据中心,重点,负载均衡设备对于会话状态的保持,负载均衡设备对,WEB/,应用服务器状态的检测,2,35,网络层双活实现机制,卡园,集电港,IPNetwork,稻香湖中心,同步数据复制,异步数据复制,DWDM,两地三中心多活模式下的网络互联和存储备份，需要保证,IP,网络的高可用性，又要保证能够满足既定,RTO/RPO,目标及多活要求：,大量使用,Vmware,虚拟化技术，需要多活中心间二层互通；,同城间同步数据复制，需满足,Oracle DataGuard,同步复制或,ORACLE RAC+VPLEX,的实际要求；,异地间异地数据复制技术，需满足,Oracle DataGuard/Goldengate,技术的实际要求；,考虑在卡园和集电港间部署,DWDM,设备，实现,IP,网、存储网的高可用；,网络上通过直接二层互联或,OTV,技术实现二层互通；,在北京和上海间用,SDH,构建核心传输网，实现,IP,网络高速互通；,36,同城网络互联方案,业务主机,存储,存储,交换机,FC,城域波分系统可以提供丰富和大量的光纤接口，如：,GE,、,10GE,、,FC,等,城域波分,主数据中心,光传输设备,以太,交换机,FC,业务主机,存储,存储,交换机,FC,同城数据中心,光传输设备,以太,交换机,FC,DWDM:Dense Wavelength Division Multiplexing(,密集型光波复用,),37,服务器硬件,V M M,服务器硬件,V M M,VMotion,迁移虚拟机,SAN,、,iSCSI,或,NAS,动态迁移可在,X86,架构的,VMWARE ESX,上实现；,在不中断服务的情况下，将,VM,迁移到其他的物理服务器上；,可用在灾备、资源调整、服务器维护等场合；,实现迁移的服务器必须在一个二层网络内，,VM,的,GW,在相同设备上；,虚拟机动态迁移需要二层网络的支持,同城网络二层扩展需求,38,OTV,虚拟化技术,有两个或以上的数据中心,L2,互联需求或者数据中心内有跨,L3,的,L2,连接需求；,需要尽量避免跨数据中心,STP,环路、优化跨数据中心扩展局域网的广播流量、对多地点的网关一致性有配套的解决方案；,需要支持跨数据中心虚拟资源的自由调度；,需要建立跨数据中心的服务器集群等；,OTV,技术不受数据中心互联介质影响；,Source:IPs,OTV,OTV,Receiver,OTV,IP A,数据中心,1,数据中心,2,生产服务器,主数据中心,同城数据中心,A.B.0.0,OTV,Source:IPs,IP A,Receiver,同城网络连接示意图,IP B,39,Internet,CN2 MPLS,核心网,CN2 MPLS,核心网,Internet,集电港数据中心,卡园数据中心,DMZ,路由,广域网路由,广域网路由,DMZ,路由,OTV,服务,核心交换,Catalyst 6500,核心交换,DWDM,通信系统,ONS 15400,生产应用汇聚交换,生产应用汇聚交换,同城网络连接实现方案,Nexus 7000,Nexus 7000,DWDM,40,异地网络连接示意图,上海数据中心,北京数据中心,155/622M SDH,FC,FC,FCIP,隧道,Source:IPs,IP A,VLAN1,OTV,Receiver,IP B,VLAN1,OTV,41,数据中心双活,/,多活的实现示意图,广域网,Active/Active,应用服务器层,Active/Standby,数据库层,or,Active/Active,For Different Application,Active/Active Web,层,广域网,运营商,A,运营商,B,INTERNET,存储,盘阵,数据库,应用,Web,网络,核心,/,汇聚,/,接入,存储,存储,Active/,Standby,Web,层,异步数据复制,Active,/Standby,应用服务器层,Active/Standby,数据库层,上海卡园,上海集电港,北京稻香湖,INTERNET,访问,Active/Active,用户访问层,DWDM,Active/,Active,用户访问层,同步数据复制,155/622M SDH,42,DMZ,区,核心网,/,广域网,LAN,区,安全管理区,DMZ,区,核心网,/,广域网,LAN,区,安全管理区,Internet,站点选择服务,路由优化,站点选择服务,路由优化,防火墙,入侵检测,防火墙,入侵检测,DWDM,统一的安全管理,安全事件的关联,CN2 MPLS,核心网,集电港数据中心,卡园数据中心,双活中心安全服务部署,事件收集分析,和关联,事件收集分析,和关联,站点选择服务,防火墙,入侵防御,站点选择服务,防火墙,入侵防御,43,双活中心网络路径管理,DMZ,区,核心网,/,广域网,网络汇聚区,DMZ,区,核心网,/,广域网,Internet,站点选择服务,防火墙,入侵防御,站点选择服务,路由优化,站点选择服务,路由优化,防火墙,负载均衡,防火墙,入侵检测,DWDM,CN2 MPLS,核心网,集电港数据中心,卡园数据中心,网络汇聚区,服务器区,服务器区,站点选择服务,防火墙,入侵防御,防火墙,Active/Standby,二层网关,路由控制,站点选择,负载均衡,防火墙,网络路径管理,44,汇报内容,第一部分 技术总体架构,1,第二部分 系统层技术研究方案,2,第三部分 网络层技术研究方案,3,第四部分 技术方案总体分析,4,第五部分 测试方案,5,45,相关技术总结,应用部署的物理位置对用户透明，,支持按既定策略将用户请求指向合适的数据中心；,应用在,数据,中心之间,的迁移、单应用的故障,不影响用户的业务访问。,支持主机的集群和负载分担；,提供,资源部署、管理和监控工具；,支持虚拟机,资源在数据中心间的迁移和恢复。,实现,Oracle,、,SQL Server,数据库同城和异地数据的完整性；,在技术得以验证的前提下，实现卡园和集电港数据,库双活（同时读写）。,流量分流,:DNS,，,RHI,，,LISP,技术,服务器负载均衡：,LTM/ACE L4-L7,数据库集群：,Oracle RAC(Ext RAC),Oracle,数据复制：,Oracle Data Guard,异构数据库数据复制：,Oracle GoldenGate,SharePlex,支持卡园、集电港数据中心高速、高带宽互联；,按需支持数据中心间存储扩展、局域网扩展、虚机漂移；,支持服务器负载均衡。,主机集群技术,虚拟机管理：,Vdirector,Vcenter,虚拟机资源调度：,Vmotion,SRM,云服务管理平台：直真节点、,Tidal,支持,IP,网与,SAN,网络的互联；,支持存储虚拟化；,支持数据中心间数据复制和同步。,存储虚拟化：,EMC Vplex,HDS,LVM,SVC,远程数据复制：,SRDF,、,HUR,数据中心互联：,DWDM,二层打通：,OTV,、,Fabric Path,服务器负载均衡,46,实现难点,流量分流,:DNS,，,RHI,，,LISP,站点负载均衡：,GTM/GSS,Host:Cluster,X86 VMware:Vmotion,SRM,卷复制,VCS,、,VVR,DNS GSS,等站点选择,IP,流量的分担技术：,RHI,LISP,服务器负载分担：,LTM/ACE,减少,STP,环路：,VPC/VDC,FabricPath,L2,打通：,OTV,Oracle RAC(Ext RAC),Oracle Data Guard,GoldenGate,SharePlex,Dense Wave DivisionMultiplexing(DWDM),相关技术,OPERATIONAL CONTINUITY,SAN&NAS,复制技术：,VPLEX,SRDF,，,HUR,，,FCIP,，,SVC,双活技术难点,如何实现数据同步和双活？,VPLEX,、,RAC,47,SHARE78,国际标准,GB/T 20988,2007,信息系统灾难恢复规范,安全级,应用类型,Tier-0,无异地备份数据,1,级,基本级。备份介质场外存，安全保管、定期验证,一级,风险管理类系统等,Tier-1,有数据备份，无备用系统,Tier-2,有数据备份，有备用系统,2,级,备份场地支持。网络和业务处理系统可在预定时间内调配到备份中心,Tier-3,电子链接,3,级,电子传输和部分设备支持。灾备中心配备部分业务处理和网络设备，具备部分通讯链路,Tier-4,使用快照技术拷贝数据,4,级,电子传输和完整设备支持。数据定时批量传送，网络,/,系统始终就绪。温备中心模式。,二级,外围系统、公共服务类系统、销售管类和支持类系统等、客户服务类系统等,Tier-5,交易的完整性,5,级,实时数据传输及完整设备支持。采用远程复制技术，实现数据实时复制，网络具备自动或集中切换能力，业务处理系统就绪或运行中。,Tier-6,少量或无数据丢失,6,级,数据零丢失和远程集群支持。数据实时备份，零丢失，系统,/,应用远程集群，可自动切换，用户同时接入主备中心,三级、部分二级系统,CBPS8,、短险系统、投连万能系统、团体年金系统、再保险系统、集团老业务系统、,ERP,、网银、,OA,邮件、电子商务等,应用系统分级,48,核心系统采用读写分离、非核心系统虚拟化，存储不虚拟化。,核心系统、,UNIX,应用技术方案,非核心系统、,X86,平台应用,综合方案一,49,硬件,软件,测算依据,1,、网络,不增加,不增加,2,、主机,不增加,需增加,DataGuard,软件,3,、存储,不增加存储，增加不超过,1,倍的,SAN,交换机,不增加,4,、其它,不增加,不增加,成本分析主要依据是与原有的两地三中心方案做对比，分析需要增加的成本,核心系统、,UNIX,应用需增加的成本,1,、网络,需要,4,台,Nexus 7000,、,4,台以上负载均衡设备,配置,OTV,等功能,2,、主机,增加,67%-75%,的主机,增加相应主机上部署的虚拟机软件,假定不考虑高可用，所用主机为,N,台，考虑进行高可用部署时，所用主机为,1.2N,台。未来采取,“,生产,+,同城灾备,”,模式，卡园承担生产职责，部署,1.2N,台主机；集电港承担同城灾备职责，部署,0.8N-0.9N,台主机；则两站点共需主机,2N-2.1N,台，相应增加,67%-75%,。,3,、存储,不增加,不增加,4,、其它,不增加,增加虚拟化灾备管理软件,非核心系统、,X86,平台应用需增加的成本,综合方案一成本分析,50,核心系统采用,Extended RAC,、非核心系统虚拟化，存储虚拟化。,核心系统、,UNIX,应用技术方案,非核心系统、,X86,平台应用,综合方案二,51,核心系统、,UNIX,应用需增加的成本,非核心系统、,X86,平台应用需增加的成本,硬件,软件,测算依据,1,、网络,需要,4,台,Nexus 7000,、,4,台以上负载均衡设备,配置,OTV,等功能,2,、主机,增加,7%-20%,的主机,增加相应主机上部署的,oracle DB,、,Extended RAC,软件,假定不考虑高可用，所用主机为,N,台，目前采取,2,备,1,的方式进行高可用部署，因此所用主机为,1.5N,台。未来采取,“,双活,”,模式，卡园与集电港进行负载均衡部署，考虑单站点接管情况下，仅承担,0.8-0.9,倍的业务压力，则两站点共需主机,1.6N-1.8N,台，相应增加,7%-20%,。,3,、存储,不增加存储，增加不超过,1,倍的,SAN,交换机,不增加,4,、其它,增加,VPLEX,设备,增加,VPLEX,设备上的软件,硬件,软件,测算依据,1,、网络,2,、主机,增加,33%-50%,的主机,增加相应主机上部署的虚拟机软件,假定不考虑高可用，所用主机为,N,台，考虑进行高可用部署时，所用主机为,1.2N,台。未来采取,“,双活,”,模式，卡园与集电港进行负载均衡部署，考虑单站点接管情况下，仅承担,0.8-0.9,倍的业务压力，则两站点共需主机,1.6N-1.8N,台，相应增加,30%-50%,。,3,、存储,存储有所增加，增加不超过,1,倍的,SAN,交换机,不增加,4,、其它,增加,VPLEX,设备,增加,VPLEX,设备上的软件,综合方案二成本分析,52,核心系统采用读写分离、非核心系统虚拟化，非核心存储虚拟化。,核心系统、,UNIX,应用技术方案,非核心系统、,X86,平台应用,综合方案三,53,核心系统、,UNIX,应用需增加的成本,非核心系统、,X86,平台应用需增加的成本,硬件,软件,测算依据,1,、网络,需要,4,台,Nexus 7000,、,4,台以上负载均衡设备,配置,OTV,等功能,2,、主机,增加,33%-50%,的主机,增加相应主机上部署的虚拟机软件,假定不考虑高可用，所用主机为,N,台，考虑进行高可用部署时，所用主机为,1.2N,台。未来采取,“,双活,”,模式，卡园与集电港进行负载均衡部署，考虑单站点接管情况下，仅承担,0.8-0.9,倍的业务压力，则两站点共需主机,1.6N-1.8N,台，相应增加,30%-50%,。,3,、存储,存储有所增加，增加不超过,1,倍的,SAN,交换机,不增加,4,、其它,增加,VPLEX,设备,增加,VPLEX,设备上的软件,综合方案三成本分析,硬件,软件,测算依据,1,、网络,不增加,不增加,2,、主机,不增加,需增加,DataGuard,软件,3,、存储,不增加存储，增加不超过,1,倍的,SAN,交换机,不增加,4,、其它,不增加,不增加,54,汇报内容,第一部分 技术总体架构,1,第二部分 系统层技术研究方案,2,第三部分 网络层技术研究方案,3,第五部分 测试方案,5,第四部分 技术方案总体分析,4,55,技术测试方案,基于双活规划设计，模拟卡园和集电港基础架构环境，验证关键技术要点，并评估整体方案的可行性，包括：,1.,整体架构的可行性；,2.,实现跨机房的虚拟资源灵活调度、统一管理，提供基础架构云服务；,3.,实现对用户透明的应用服务负载均衡；,4.,异常运行,状态下，实现对用户透明的快速应用服务切换：包括接入层、应用层、数据库层、存储层、网络层等；,5.,对各类相关技术进行功能性测试。,基于测试结果，进一步明确未来卡园和集电港双活实现目标；,通过测试，发现规划设计中存在的问题与不足，并对设计规划进行相应的调整；,通过测试，识别,双活中心,实施和管理中可能存在的技术风险,，作为后续实施计划和运维方案设计的参考；,在测试过程中，帮助运维管理人员熟悉新引入的解决方案和设备配置方法。,测试目标,测试场地：北京朝阳门机房,测试时间：,2011,年,10-11,月,测试人员：中国人寿双活研究项目组主导，相关厂商参与，包括：思科、,HP,、,EMC,、,Vmware,、,Oracle,、,HDS,、,F5,、,Quest,、博科、,IBM,等,测试部署,56,模拟卡园,模拟集电港,模拟远程节点,存储,MDS,MDS,GSS,GSS,DWDM,ONS,ONS,应用终端,*2,ISR2800,Cat3750,N7K,N7K,ACE,TUXEDO,应用服务器,存储,VPlex,Web,服务器,应用与,SQL,数据库,服务器（基于虚拟机）,Web,服务器,应用与,SQL,数据库,服务器（基于虚拟机）,TUXEDO,应用服务器,Oracle RAC,服务器,*2,终端,服务器,管理服务器（,ITOI,）,Avamar,Avamar,ISR2800,VPlex,Oracle RAC,服务器,*2,终端,服务器,ASA,ACE,ASA,N7K,N7K,模拟核心网,仲裁服务器,ISR2800,以太网,FC,测试环境逻辑拓扑,57,网络设备,思科设备：,2*ONS15454,、,2*N7000,、,2*ACE,、,2*GSS,、,2*ASA,、,3*router ISR3845,、,1*Switch Catalyst 3750,；,F5,设备：,2*GTM,、,2*LTM,主机设备,HP,安腾刀片,8*BL8900,；,X86,刀片,8,片,存储设备,思科、博科交换机：,2*MDS,存储：,2*EMC Vplex Metro,，,EMC,、,HDS,存储,软件,Oracle,：,Oracle RAC,、,Extended RAC,、,Active DataGuard,、,GoldenGate,Vmware,：,ESX Server,、,vCenter,、,vRanger Pro,、,vFoglight,、,vCloud Director,、,Site Recovery Manager,Quest,：,SharePlex,其他,测试设备清单,58,4,）,15),网络容错测试,：当单数据中心核心交换或互联,设备故障时，用户操作可正常进行,14,）,Vplex,容错测试,：当,Vplex/,存储交换机/存储阵列发生设备级别单点故障时，用户操作可正常进行,）,Vplex,存储虚拟化测试,：,可实现跨站点的,数据镜像，并成功封装数据,）,Vplex,存储回切测试,：可解除,Vplex,数据封装而无数据丢失,13,）,Vmware SRM,功能测试,：可实现站点级虚拟应用的迁移恢复,）,VCenter,功能测试,：,可统一管理两站点虚拟资源的增加、删除和修改,）,VMotion,功能测试,：可,实现跨数据中心的虚拟机迁移,）,Extended RAC,功能测试,：,可利用实现跨数据中心的数据库同步读写（,Vplex,环境下）,）,Dataguard,功能测试,：可,实现跨数据中心的数据库读写分离级双活（,非,Vplex,环境下）,）,站点选择功能测试,：,用户可,基于,IP,或,DNS,访问卡园和集电港的应用服务（,访问路径符合预设的站点选择策略）,正常状态,异常状态,10,）,站点选择,/,负载均衡容错测试：,当单数据中心的前置,/Web,服务不可及时，用户可正常,进行,业务操作,11,）,Extended RAC,容错测试,：部分,Oracle,实例,/,单节点故障时，,用户可正常进行业务操作,12,）,Dataguard,功能测试,：单,Oracle,节点故障，可通过主备切换,/,回切以持续业务操作,）,OTV,功能测试,：可实现跨数据中心的局域网扩展,）,DWDM,功能,测试,：可实现两数据中心,IP,、存储互联,测试项目,59,测试计划,工作内容,10.814,10.1721,10.24,28,10.31,11.4,11.7,11.25,11.25,11.30,1.测试设备到货、上架,2.服务器、存储、应用准备,3.,网络环境搭建与联通测试,（项目,13),4.EMC,Vplex,配置与联通测试,(,项目,4),5.VMWare,测试（项目,57),6.,Oracle Extended RAC,测试（项目,8),7.,读写同步情景容错测试（项目,12),8.Oracle Active Dataguard,测试（项目,1314),9.,读写分离情景容错测试,(,项目,1517),10.,测试报告,60,汇报完毕,谢谢,61,