业务连续性容灾解决方案-双活解决方案技术白皮书（HyperMetro）.pdf

业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)HUAWGI业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)目录目录!灾备建设的挑战与趋势.12华为双活数据中心解决方案介绍.22.1 双活数据中心架构.22.2 双活数据中心部署.42.3 客户价值.63双活数据中心关键技术.83.1 存储层双活.83.1.1 AA双活架构.93.1.1.1 并行访问.93.1.1.2 免网关设计.93.1.1.3 I/O访问路径.93.1.1.4 存储层组网.103.1.2 高可靠技术.113.1.2.1 跨站点集群.113.1.2.2 跨站点数据实时镜像.133.1.2.3 跨站点坏块修复.143.1.2.4 仲裁防脑裂.153.1.2.5 高可靠链路设计.193.1.2.6 分布式锁技术.203.1.3 高性能技术.233.1.3.1 数据零拷贝.233.1.3.2 FastWrite.233.1.3.3 地域优化访问.243.1.4 高可扩展性.263.1.4.1 两地三中心扩展.273.1.4.2 异构双活.273.1.4.3 本地保护.283.2 计算层双活.293.3 应用层双活.303.3.1 B/S应用双活.30业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)目 录3.3.2 C/S应用双活.323.3.3 数据库双活.343.3.3.1 OracleRAC 双活.363.3.3.2 DB2 双活.373.3.3.3 SQL Server 双舌.383.4 网络层双活.393.4.I 网络架构.393.4.2 跨数据中心网络.393.4.3 业务访问网络架构.413.4.3.1 B/S应用网络架构.41343.2 C/S应用网络架构.423.4.4 二层互联.463.4.5 负载均衡技术.483.4.5.1 站点间负载均衡.483.4.5.2 站点内负载均衡.513.5 传输层技术.533.6 安全层技术.534可视化容灾管理.594.1 总体部署.594.1.1 部署方式.594.1.2 系统运行环境.604.2 应用支持矩阵.624.3 适用容灾场景.624.3.1 SAN双活场景.624.3.1.1 技术特点.624.3.1.2 物理拓扑.634.3.1.3 逻辑拓扑.634.3.2 SAN双活+快照场景.644.3.2.1 技术特点.644.3.2.2 物理拓扑.644.3.2.3 逻辑拓扑.644.3.3 SAN双活+异步复制场景.654.3.3.1 技术特点.654.3.3.2 物理拓扑.654.3.3.3 逻辑拓扑.665故障场景.675.1 GSLB 故障.675.2 SLB 故障.685.3 Web服务器故障.70业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)目 录5.4 应用服务器故障.725.5 Oracle RAC 故障.755.6IBMDB2 故障.765.7 阵列故障.775.8 广域网链路故障.795.9 站点间链路故障.805.10 站点故障.816缩略语.82业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)1灾备建设的挑战与趋势!灾备建设的挑战与趋势随着信息化技术的飞速发展,信息系统在各种行业的关键业务中扮演着越来越重要的 角色。在通讯、金融、医疗、电子商务、物流、政府等领域,信息系统业务中断会导 致巨大经济损失、影响品牌形象并可能导致重要数据丢失。因此,保证业务连续性是 信息系统建设的关键。目前,各行业普遍通过建设灾备中心来提高关键应用的业务连续性,在灾备中心保存 生产数据副本。传统灾备部署方式为个生产中心对应个灾备中心,灾备中心平时 不对外提供业务访问。一旦生产中心发生灾难,业务瘫痪,无法短时间恢复时,灾备 中心应需启动以提供业务访问。这种灾备系统面临以下挑战:当生产中心遭遇供电故障、火灾、洪灾、地震等灾难时,需要手动将业务切换到 灾备中心,有可能需要专业的恢复手段和长时间调试,业务中断时间长,无法保 证业务连续运行。灾备中心不能对外提供服务,常年处于闲置状态,资源利用率低。华为针对客户提高资源利用率,在两个数据中心间实现负载均衡和灾难自动切换的需 求,推出了端到端双活数据中心解决方案。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2华为双活数据中心解决方案介绍2 华为双活数据中心解决方案介绍双活数据中心解决方案指两个数据中心均处于运行状态,可以同时承担生产业务,提 高数据中心的整体服务能力和系统资源利用率。业界目前有两种双活形态:AP双活和AA双活。AP双活通过将业务分类,部分业务以数据中心A为主,数据中心B为热备,而 部分业务则以数据中心B为主,数据中心B为热备,以达到近似双活的效果。AA双活则是真正的双活,同一个双活LUN的所有I/O路径均可同时访问,业务 负载均衡,故障时可无缝切换。华为双活数据中心解决方案为AA双活架构,以业界领先的OceanStor V3 HyperMetro 功能为基础,与Web、数据库集群、负载均衡、传输设备和网络等组件相结合,为客 户提供100km内的端到端双活数据中心解决方案,确保业务系统发生设备故障、甚至 单数据中心故障时,业务无感知,自动切换,实现RPO(Recovery Point Objective)=0,RTO(Recovery Time Objective)=0(RTO 与应用系统及部署方式有关)。2.1 双活数据中心架构2.2 双活数据中心部署2.3 客户价值2.1 双活数据中心架构端到端双活数据中心解决方案分为6层:存储层、计算层、应用层、网络层、传输层 和安全层。逻辑架构图如图2-1所示。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2华为双活数据中心解决方案介绍图2-1逻辑架构图应用层W MLggic应用层Oracle RAC,Weblogic调优W NLpgic眼 钿 虫ORACLE DATAIASIWebSphere数据中心A计算层VMware,FusionSphere 障DC高可用、负载均衡、迁 移调度ORACLE DATABASEWebSphere存储层双活访问、数据零丢失 异构阵列数据中心B端到端双活数据中心解决方案,为了实现更好的可靠性、层进行些设计和优化,表2-1列举了一部分设计要点。性能和负载均衡,针对每表2-1 6层方案设计要点方案模 块设计要点存储层 免网关双活架构。通过OceanStor V3阵列的HyperMetro功能,实现存储层的双活,减 少方案故障点,避免存储虚拟化网关的I/O性能瓶颈。通过OceanStor V3阵列的SmartVirtualization功能,接管现网异构存 储,将不同的存储资源的统池化。通过FastWrite功能,将标准的1个写I/O 2次往返优化为1次往返,提升写性能。通过自适应网络功能,提升链路性能不均匀时的双活性能。网络层 采用华为CloudEngine系列数据中心交换机的EVN技术。通过EVN打通大二层网络,实现2层网络协议在3层网络上运行,保障了业务的跨数据中心互联互通。通过多种互联优化技术,实现广播域隔离,达到数据中心间东西向流 量优化。通过双活网关和路由注入等访问优化功能,优化数据中心间南北向流 量优化。安全层通过华为USG系列提供数据中心的FW、IDS等安全防护功能。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2华为双活数据中心解决方案介绍方案模 块设计要点通过数据中心间光传输加密技术,支持AES-256等多种加密算法,预 防数据中心间数据窃听。计算层采用华为FusionSphere VMware等虚拟化平台提供跨数据中心大集群技 术,满足企业多种关键业务双活的需求。应用层 web和App应用基于虚拟化集群提供更好的可靠性,通过负载均衡实 现业务自动切换。数据库基于双活LUN实现跨站点集群双活部署。传输层 采用华为OptiXOSN系列作为双活数据中心的波分设备。通过线路冗余,板卡冗余,设备冗余三种1+1保护方案,满足多级 可靠性要求。通过色散补偿等调优手段,确保传输层延时最小。2.2 双活数据中心部署整体的方案物理组网图如图2-2所示。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2华为双活数据中心解决方案介绍图2-2物理组网图各方案模块部署如表2-2所示:表2-2方案模块部署方式模块部署方式存储层跨DC的两套华为OceanStor V3系列存储阵列组成一个存储集群。支持其中一台异构接管第三方存储,使用接管后的LUN与另一台V3上的LUN构建双活LUN。网络层 采用华为CloudEngine系列数据中心交换机作为核心交换机。数据中心内部采用典型二层或三层物理架构组网,启用EVN形成 二层通道,由核心交换机通过CSS+链路聚合接入波分设备。每个站点部署一台独立的GSLB实现站点间负载均衡。每个站点部署2台SLB,组成HA集群,实现应用层服务器的负载 均衡。应用层 Web、App层可以部署在虚拟机或者物理机上,DC内的多台服务器 组成集群,或者跨DC的多台服务器组成集群。数据库建议物理机部署,跨数据中心组成一个集群。计算层使用华为FusionSphere VMware等虚拟化平台,跨数据中心组成虚拟 主机集群。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2华为双活数据中心解决方案介绍模块部署方式传输层 采用华为OptiXOSN系列DWDM,每个站点部署2套波分设备。如若不能设备级冗余,则需要至少每套波分设备配置2块传输板 卡,实现板卡冗余。将多路FC信号和IP信号复用到光纤链路上传输,每套波分设备通 过两对裸光纤互联。安全层采用华为USG系列防火墙,每个站点部署2台防火墙,接入核心交 换机。在华为OptiX OSN系列DWDM启用传输加密功能。仲裁 选择个第三方站点部署仲裁设备和软件。软件支持安装在物理服务器或虚拟机上。仲裁服务器使用IP网络连接到双活数据中心的两套存储阵列。说明GSLB是英文Global Server Load Balance的缩写,意思是全局负载均衡。作用:实现在广域网(包括互联网)上不同地域的服务器间的流量调配,保证使用最佳的服务器服务离自己最近的客户,从而确保访问质量。SLB是Server Load Balancing,意思是服务器负载均衡。SLB可以看作HSRP(热备份路由器协 议)的扩展,实现多个服务器之间的负载均衡。2.3 客户价值华为充分利用其宽产品线的优势,通过多产品的紧耦合,为客户提供端到端双活数据 中心解决方案,也是业界唯一可提供端到端双活解决方案的厂家。6层Active-Active可靠性设计,业务负载均衡,应用零中断,数据零丢失,实现了业 界最高等级的业务连续性保障。华为双活数据中心解决方案有以下特点:AA双活架构,数据零丢失,业务零中断(RPO=0,RTO=0)o 两个数据中心同时提供业务,充分利用灾备资源。支持异构存储,保护已有设备投资。方案扩展灵活,容灾可视化管理。华为6层双活数据中心解决方案能给客户带来以下价值:端到端双活设计:华为提供端到端双活方案设计,快速上线业务。真AA精简双活,业务7X24小时持续运行:去存储网关精简双活架构,方案故 障点少,系统可靠性更高,提供站点同时读写的Acive-Active双活能力。双活I/O优化,性能高:去存储网关的双活架构,I/O处理路径最短。同时,通过锁预取优化,存储协议优化和地域优化访问等极大提升双活业务性能。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)2 华为双活数据中心解决方案介绍 利旧现有设备,保护现有投资:存储支持异构接管第三方存储,计算层支持 FusionSphere等虚拟化平台利旧已有服务器,保护现有投资。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术3双活数据中心关键技术以下是华为双活数据中心解决方案的关键技术:存储层:通过HyperMetro实现存储层的双活。计算层:通过FusionSphere VMware等虚拟化技术,提供虚拟机HA特性,故障时自动恢复。应用层:通过应用集群和数据库集群技术实现双活。网络层:通过DWDM、EVN等二层互联技术,实现低时延、高可靠的层网络互联;通过网络设备的双活网关、RHI等路径优化技术,以及全局负载均衡器、服务器负载均衡器实现双活就近接入或高可用网络切换。传输层:通过设备冗余及板卡冗余构建可靠的双活传输网络。安全层:通过防火墙和安全策略规划和设计保证访问安全,通过传输层加密特性,保证跨数据中心数据传输安全。华为双活数据中心解决方案在以上6个层次上进行联动及联合,为客户提供端到端双 活方案。3.1 存储层双活3.2 计算层双活3.3 应用层双活3.4 网络层双活3.5 传输层技术3.6 安全层技术3.1 存储层双活华为双活数据中心解决方案存储层基于OceanStor V3融合存储系统的HyperMetro特性 实现。HyperMetro采用AA双活架构将两套存储阵列组成跨站点集群,实现数据实时镜 像,具有高可靠、高性能和高扩展的特点。本章节将对HyperMetro特性的主要技术原 理和特点进行介绍。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术3.1.1 AA双活架构3.1.1.1 并行访问HyperMetro特性基于两套存储阵列实现AA(Active-Active)双活,两端阵列的双活LUN 数据实时同步,且双端能够同时处理应用服务器的I/O读写请求,面向应用服务器提供 无差异的AA并行访问能力。当任何一台磁盘阵列故障时,业务自动无缝切换到对端存 储访问,业务访问不中断。相较于AP方案,AA双活方案可充分利用计算资源,有效减少阵列间通信,缩短I/O 路径,从而获得更高的访问性能和更快的故障切换速度。图3-!展示了几种双活方案 的交互流程。图3-1存储双活架构数据中心A 数据中心B 数据中心A 数据中心BAP双活 AA双活(华为)3.1.1.2 免网关设计HyperMetro双活架构无需额外部署虚拟化网关设备,直接使用两套存储阵列组成跨站 点集群系统。最大支持32个存储控制器,即两套16控存储阵列组建双活关系。本方案架构精简、与存储增值特性良好兼容,对客户的价值如下:减少网关故障点,提高方案可靠性。I/O响应速度更快,无需经过存储网关转发,减少网关转发I/O时延。双活可以兼容存储阵列已有特性,与OceanStorV3融合存储系统的其它Smart系列和Hyper系列特性组合,可为客户提供多种数据保护和灾备解决方案。显著降低双活组网复杂度,便于维护。3.1.1.3 I/O访问路径HyperMetro在应用主机则,通过UltraPath主机多路径软件,将两台存储阵列上的双活 成员LUN聚合为一个双活LUN,以多路径vdisk方式对应用程序提供I/O读写能力。业务连续性容灾解决方案双活解决方案技术白皮书（HyperMetro）3双活数据中心关键技术应用程序访问vdisk时,Ultrapath根据选路模式,选择最佳的访问路径,将1/O请求下 发到存储阵列（参见3.1.3.3地域优化访问）。存储阵列的LUN空间上接收到I/O请求后,对于读I/O请求,直接读本地Cache空间,将数据返回应用程序;对于写I/O请求,首先会进行并行访问互斥（参见3.134分布式 锁技术）,获取写权限后,将I/O请求数据同时写本地双活成员LUN Cache以及对端的 双活成员LUN Cache,双端写成功后返回应用程序写完成（参见3.122跨站点数据实 时镜像）。图3-2双活10路径Applicationrs e r v e rcache/0 vdisk3.1.1.4 存储层组网两套双活存储阵列间通信支持FC或IP链路,推荐使用FC链路。另外,存储阵列和 仲裁服务器之间的链路采用更易于获取的IP链路。图3-3为4控制器的双活组网情况下,FC交换机端口占用情况。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-3阵列双活方案组网阵列B阵列A阵列连主机-双活镜像网络同城互联网络3.1.2高可靠技术HyperMetro在继承OceanStor存储系统高可靠设计的基础上,全新设计了一些解决方 案级高可靠技术,最大化提高了存储双活方案的可靠性。本章节将从以几个方面介绍HyperMetro的高可靠技术:跨站点集群 跨站点数据实时镜像 跨站点坏块修复 仲裁防脑裂 高可靠链路设计3.1.2.1 跨站点集群两套独立的存储阵列组建成跨站点集群,并以跨站点集群为核心,提供双活存储架 构,向应用服务器提供无差异的并行访问,处理应用服务器的I/O请求。双活跨站点集群配置过程极为简单,只需要将两套存储阵列配置成双活域,即可完成 跨站点集群配置。跨站点集群系统使用阵列间FC或IP链路作为通信链路,完成全局节点视图建立和状 态监控。在全局节点视图基础上,跨站点集群系统提供分布式互斥等能力,支持AA双 活架构。下图为双活跨站点集群示意图。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-4双活跨站点集群涛站点 集群双活 业务本地集群集群节点具有并发访问能力。1)当出现单个控制器故障时,主机业务将由双活跨站点集群的其它工作控制器承接。由于本地集群要进行故障自检,为了减少对性能和可靠性的影响,系统优先选择由 远端集群的控制器承接主机业务,待本地集群故障自检完成并且通过后,本地集群 继续提供主机业务服务能力。2)本地集群工作控制器全故障时,由远端集群接管主机业务。图3-5双活访问与切换在跨站点集群基础上,HyperMetr。以双活Pair或双活一致性组为单位提供服务和进行 状态管理。两套存储阵列上的双活成员LUN组成一个虚拟双活LUN,通过实时镜像技术保持两 个数据中心的双活成员LUN的数据实时一致。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术一致性组是多个双活pair的集合,可以确保单个存储系统内,主机在跨多个LUN进行 写操作时数据的一致性。一致性组进行分裂、同步等操作时,一致性组的所有双活pair保持步调一致。当遇到 链路故障时,一致性组的所有成员对会起进入异常断开状态。当故障排除后,所有成 员同时进行数据的同步,从而保证从站点灾备阵列数据的可用性。3.1.2.2 跨站点数据实时镜像HyperMetro通过实时镜像功能,保证两个站点存储阵列之间数据的实时同步。主机写操 作通过实时镜像技术同时写入两个数据中心的双活成员LUN,保持数据实时一致。具 体的写I/O流程如图3-6所示。假如数据中心A阵列收到写!/O,镜像处理流程如下:1.申请写权限和记录写日志:数据中心A阵列收到主机写请求,先申请双活Pair的 写权限。获得写权限后,双活Pair将该请求记录写日志。日志中只记录地址信息,不记录具体的写数据内容。该日志采用具有掉电保护能力的内存空间记录以获得良 好的性能。2.执行双写:将该请求拷贝两份分别写入本地LUN和远端LUN的Cacheo3,双写结果处理:等待两端LUN的写处理结果都返回。4.响应主机:双活Pair返回写I/O操作完成。HyperMetr。支持断点续传功能。当某些故障场景(如单套存储故障)导致双活Pair关 系异常断开时,HyperMetro通过记录日志的方式,记录主机新产生的写I/O。当故障恢 复时,HyperMetro将自动恢复双活Pair关系,并且将所记录的增量数据自动同步到远端,无需全量同步所有数据,整个过程对主机“透明”,不会影响主机业务。双活Pair运行状态和主机访问状态关系见表3-1业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术表3-1双活主机访问状态表双活Pair运行状态主机访问状态状态描述主LUN从LUN暂停读写不可读写用户暂停双活镜像 关系待同步读写不可读写阵列间链路故障或 I/O错误导致双活 镜像关系断开同步中读写不可读写恢复双活镜像关系 时全量/增量同步双 端差异数据正常读写读写两端LUN都进入 双活AA实时镜像关系强制启动读写不可读写用户进行了强制将 双活从LUN升级 为主LUN的操作双活Pair运行状态和镜像状态关系见表3-20表3-2双活镜像状态表双活Pair运行状态镜像状态主LUN从LUN暂停/待同步/强制启动不镜像,记录差异日志不涉及同步中镜像写,后台复制差异不涉及正常镜像写镜像写3.1.2.3跨站点坏块修复硬盘在使用过程中可能因为掉电等异常情况出现坏块,如果是可修复错误但是本端已经 无法修复时,HyperMetr。将自动从远端阵列获取数据,修复本地数据盘的坏块,进 步提高系统的可靠性。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-7跨站点数据修复主机读10数据中心A双活LUN双活成员LUN双活LUN跨站点双活AA集群台中心B幣仪数据中心A阵列出现坏块时,从该阵列读I/O处理流程如下:步骤1主机下发读I/Oo步骤2读本地LUN。步骤3读取到坏块后,如果为可修复错误,执行步骤4,否则执行1、2后流程结束。1.重定向远端读。2.远端读返回。步骤4将读数据返回主机,确保主机响应的快速返回。步骤5根据远端的读数据,进行本地写入修复。步骤6写修复结果返回。-结束3.1.2.4仲裁防脑裂当提供双活LUN的两套阵列之间的链路故障时,阵列已经无法实时镜像同步,此时只 能由其中一套阵列继续提供服务。为了保证数据一致性,HyperMetro通过仲裁机制决定 由哪套存储继续提供服务。HyperMetro支持按双活Pair或双活一致性组为单位进行仲裁。当多个双活Pair提供的 业务相互依赖时,用户需要把这些双活Pair配置为个双活一致性组。仲裁完成后,一 个双活一致性组只会在其中一套存储阵列继续提供服务。例如,Oracle数据库的数据文 件、日志文件可能分别存放在不同的LUN,访问Oracle数据库的应用系统存放在另 些LUN上,相互之间存在依赖关系。配置双活时,建议数据LUN、日志LUN和应用 LUN分别配置双活pair,并且加入同一个一致性组。HyperMetro提供了两种仲裁模式:业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术 静态优先级模式 仲裁服务器模式配置双活Pair前,需要配置双活域,双活域为逻辑概念,包括需要创建双活关系的两 套存储阵列和仲裁服务器。每个双活Pair创建时均要选择双活域,每个双活域只能同 时应用种仲裁模式。仲裁服务器模式比静态优级模式具备更高的可靠性,可保证在各种单点故障场景下,业务连续运行。因此,华为双活方案推荐采用仲裁服务器模式。静态优先级模式静态优先级模式主要应用在无第三方仲裁服务器的场景。用户可以按双活Pair或一致 性组为单位,设置其中一端阵列为优先站点,另一端为非优先站点。如图3-8所示,不需要额外部署仲裁服务器。该模式下,阵列间心跳中断时,优先站点仲裁胜利。当发生阵列间链路故障,或者非优先站点故障时,优先站点上的LUN继续提供服 务,非优先站点的LUN停止提供服务。当优先站点阵列故障时,非优先站点不能自动接管双活业务,双活业务停止,需 要人工强制启动非优先站点服务图3-8静态优先级部署Site A I Site B注意有一种情况除外,当优先站点阵列主动下电维护时,非优先站点阵列立即接管所有双 活业务,业务不会中断。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术该模式的缺点是:两阵列之间的心跳丢失时,可能是站点间链路丢失或其中一个阵列 故障,系统无法区分这两种情况。表3-3为静态优先级模式下的仲裁策略。表3-3静态优先级模式仲裁示意图编号不意图仲裁结果1故障类型:链路故障仲裁结果:H1继续运行业务,H2停止业务2近図故障类型:非优先故障仲裁结果：H1继续运行业务,H2失效3区近故障类型:优先故障仲裁结果：H1失效;H2停止业务,需要人工启动仲裁服务器模式使用独立的物理服务器或者虚拟机作为仲裁设备,仲裁服务器建议部署在第三方站 点。这样可以避免单数据中心整体发生灾难时,仲裁设备也同时故障。如图3-9所 Zj图3-9仲裁服务器部署仲裁服务器模式下,当存储阵列间心跳中断时,两端阵列向仲裁服务器发起仲裁请求,由仲裁服务器综合判断哪端获胜。仲裁获胜的一方继续提供服务,另一方停止服务。仲裁过程如图3-10所示:仲裁服务器模式下如果有优先获得仲裁的要求,具有仲裁获胜的优先权,心跳中断但其它正常时也可以配置站点优先级。优先阵列端,优先阵列将获得仲裁胜利。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-10仲裁机制1.数据中心之间的链路断开时,跨站点阵列集群分裂为两个小集群。2.小集群分别抢占仲裁,优先阵列将优先抢占仲裁,抢占成功的小集群“获胜”，将继续对外提供服务,为应用提供存储访问空间;抢占失败的小集群则停止对外 服务。3.中间链路恢复时,两个子集群检测到中间链路恢复正常,经过握手通信将两个小集 群自动组成一个跨站点集群,双活关系恢复,以Active-Active模式提供服务。表3-4列出了仲裁服务器模式下,各种故障场景下双活业务表现。表3-4各故障场景仲裁示意图编 号示意图仲裁结果1於1 H 1 H 2 故障类型:仲裁失效仲裁结果:Hl、H2继续运行业务2GV故障类型:套阵列与仲裁之间链路故障 仲裁结果:Hl、H2继续运行业务3(gl故障类型:套阵列失效仲裁结果:H1失效,H2继续运行业务4屋故障类型:阵列间链路中断仲裁结果:H2失效,H1继续运行业务5於故障类型:套阵列与仲裁同时失效 仲裁结果:H1失效,H2停止业务6J故障类型:套阵列与对端、仲裁的链路同时中断 仲裁结果:H1停止业务,H2继续运行业务业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术由说明千号不意图仲裁结果7故障类型:套阵列失效,且对端与仲裁链路中断 仲裁结果:H1失效,H2停止业务8、前必H2 1故障类型:仲裁失效,且阵列间链路中断 仲裁结果:H1与H2均停止业务9,故障类型:仲裁失效,且其与一套阵列链路中断 仲裁结果:Hl、H2继续运行业务H1和H2表示组成双活HyperMetro LUN的两个阵列,C表示对应的仲裁服务器。强制启动某些特定的多重故障情况下,仲裁机制优先保证数据的一致性,可能会将存活的双活成 员LUN都停止主机访问。例如静态优先级模式下优先站点故障等场景,存活的双活成 员LUN会被停止主机访问,用户或售后工程师可根据故障情况选择人工强制启动业务,快速恢复业务。强制启动后,被强制启动端会升级为双活数据同步源端,强制启动端的双活成员LUN 具有最新数据。链路恢复后,系统主动停止对端双活成员LUN主机访问。发起数据同 步时,将以强制启动端的双活成员LUN数据覆盖对端。该过程中只会同步增量差异数 据。注意执行强制启动前,需要充分考虑双主风险,应在执行前确认两个数据中心的LUN状态 和业务状态,确保对端存储已经停止工作。3.1.2.5高可靠链路设计HyperMetro阵列间组网支持FC或IP网络,可以根据用户的实际网络条件配置网络。支持使用阵列直连、通过FC光纤交换机连接、通过!P交换机连接等。为了提供更好 的双活性能,推荐采用FC组网。以跨数据中心2节点+2节点双活组网为例,建议每个控制器节点都与对端阵列建 立2条阵列间镜像链路,并对两条链路的交换机进行隔离,获得最高的链路可靠性。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-11以聘数据中心4控双活组网示例为保证双活性能,HyperMetro对站点间双活链路的网络要求如下:误码率W10-12e。时延 RTTClmso 无抖动,无丢包。链路带宽业务峰值带宽,最低要求2GbpSo除了高可靠的组网和链路质量要求外,双活阵列间镜像链路还应用了传输带宽自适应 特性,该技术通过一系列自动检测机制,根据链路质量,动态调整各链路传输占比,减少数据重传率。例如当前控制器与对端阵列控制器存在两条镜像链路A和B,当系统检测到链路A因 为误码等原因存在较大的传输时延时,会根据算法将链路A的流控带宽下降20%,将 更多的带宽压导向链路B,降低链路A的带宽压,从而获得更稳定的传输时延。当 链路A的传输时延较小时,系统又会根据算法将链路A的流控带宽上调20%,从而恢 复带宽吞吐量。3.1.2.6分布式锁技术分布式互斥能力是实现AA双活的关键能力之一,双活分布式锁模块利用Paxos和 CHT(Consistent Hash Table)一致性算法,提供了分布式对象锁和分布式范围锁,从 而满足AA双活的分布式互斥诉求。通过锁预取技术,可有效减少跨站点的数据传输 量和通信交互次数,从而提升I/O读写性能。在AP双活架构中,由于主机无法通过从端直接访问双活LUN,从端主机写数据时,必须将完整的写数据发送到主控端,再通过镜像链路把!/O从主控端同步到备控设备上,这样数据存在多次跨数据中心传输,严重影响写性能,如图3-12所示。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-12AP双活的数据访问AP架的阵列双活AP架构阵列双活HyperMetro以主机I/O粒度,对主机I/O访问的LBA区间加分布式范围锁进行并发互 斥,从而达到双向实时同步的目的,该方案可省去不必要的阵列间数据传输带宽,并有 效的减少数据传输次数。HyperMetro双活数据访问如图3-13所示。图3-13应用分布式锁的双活数据访问跨站用双浩AA隼群HyperMetro分布式锁技术使用了智能的锁预取和缓存策略,在写权限本地无缓存的情 况下,会通过较小的控制报文,向锁权限缓存节点申请写权限,并多预取部分区间的写 权限缓存到本地。后续的连续写!Z。可快速在本地命中写权限,不需要再跨站点申请写 权限。分布式锁实现原理如图3-14所示。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-14分布式锁预取f数据中心A主机写100M,102M)A阵列B阵列锁权限缓存,1200M,$)锁权限缓存,0M一 新铀权限缭存.0,200M跨站点双活AA集群 加100M,200M)写权!双活成员LUN双活成员LUN写权限不命中数据中心A主机写102M,103M)写权限命中业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术3.1.3高性能技术为了保证两个数据中心存储的数据实时一致,写操作都需要等待两端存储写成功之后 再返回主机“写成功”。双活I/O性能因为实时双写导致一定的时延增加,华为 HyperMetro设计了一系列I/O性能优化方案,减小对写时延的影响,提升整体双活的 业务性能。3.1.3.1 数据零拷贝在双活镜像数据的初始同步或者恢复过程中的增量同步过程中,差异数据块通常有大 量的零数据块,无需逐块复制,该功能叫数据零拷贝。例如,虚拟化场景下,新建虚 拟机时会产生大量的零数据块,一个数十GB的操作系统盘,实际非零数据块仅2-3GBo数据零拷贝原理图如图3-15所示。图3-15数据零拷贝ABCDHGFE0000000000000000I J K LFull copy 8 blocksFull copy 4 blocksJCopy 1 block instead of 16 blocksHyperMetro零页面识别技术的实现方法如下:通过硬件芯片,对数据拷贝源端进行快速识别,找出零数据,在拷贝过程中,对全零 数据特殊标识,只传输个较小的特殊页面到对端,不再全量传输。该技术可有效减少同步数据量,减少带宽消耗,缩短同步时间。3.1.3.2 FastWriteHyperMetro通过FastWrite功能对阵列间数据传输进行了协议级优化,应用SCSI协议 的First Burst Enabled功能,将写数据的链路传输交互次数减少半。正常的scsi流程中,写!/O在塀俞的双端要经历“写命令”、“写分配完成”、“写数据”和“写执行状态”等多次交互。利用FastWrite功能,优化写I/O交互过程,将“写命令”和“写数据”合并为一次发送,并取消“写分配完成”交互过程,将跨站点写 I/O交互次数减少一半。如图3-16所示。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-16传输协议优化write process of Huawei A-A solution3.1.3.3 地域优化访问双活数据业务场景,两站点的距离远近,是影响I/O访问性能的关键因素。HyperMetro 特性通过与华为OceanStorUltraPath多路径配合,根据双活站点部署距离,提供了两种 I/O访问策略供用户选择。负载均衡模式 优选阵列模式负载均衡模式该模式下实现了 I/O的跨阵列负载均衡,即I/O以分片的方式在两个阵列上下发。分片 大小可配,例如分片大小为128M,即起始地址为0-128M的I/O在A阵列下发,128M-256M在B阵列下发,以此类推。负载均衡模式主要应用于双活业务部署在同一数据中心的场景。在该场景下,主机业 务访问两套双活存储设备的性能几乎相同,为最大化利用两套存储设备的资源,将主机 I/O按分片方式下发到两套阵列上。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术优选阵列模式图3-17负载均衡访问该模式下,由用户在OceanStor UltraPath上指定优选访问阵列,主机业务访问时,I/O 只会在用户设置的优选阵列路径上进行负载均衡下发,不产生跨阵列的!Z访问。只有 当优选阵列出现故障时,切换到非优选阵列下发!/O优选阵列模式主要应用于双活业务部署在距离较远的双数据中心场景。在该场景下,双活数据中心的跨站点访问的代价较高,假如两个数据中心的链路距离为100km,一 次往返传输通常需要消耗约1.3ms时间。优选阵列模式可以减少跨站点交互次数,从 而提升I/O性能。针对数据读场景,双活数据中心的业务主机只需要读本数据中心对应的双活存储阵列 即可,避免主机跨数据中心读取数据,提升整体访问性能。业务连续性容灾解决方案双活解决方案技术白皮书(HyperMetro)3双活数据中心关键技术图3-18优选阵列模式数据读数据中心A 主机数据中心B 主机Read跨站点双活AA集群A阵列ReadB阵列收活LUN双活成员LUN双活成员LUN双活读I针对数据写场景,业务主机直接写本数据中心对应的双活存储阵列,避免主机跨数据中 心转发数据,充分利用HyperMetro AA双活能力,AA集群的每个控制器都能够接收写 I/O,由本地控制器处理本地主机的写I/O请求,减少跨数据中心的转发次数,提升方案 整体性能。数据写I/O过程如图3-19所示。图3-19优选阵列模式数据写数据中心A 主机f数据中心B 主机WriteWrite跨站点双活AA期双活耳/3.1.4高可扩展性HyperMetro双活特性通过与OceanStor V3融合存储系统的其它Smart系列!和Hyper系 列特性组合,可形成多种数据保护和灾备解决方案。业务连续性容灾解决方案双活解决方案技术白皮书（HyperMetro）3双活数据中心关键技术3.1.4.1 两地三中心扩展近年来,大范围自然灾害时有发生,3DC（两地三中心）容灾解决方案越来越受到业 界重视和认可。所谓3DC即两地三中心,即份数据有3份备份（包括自己）且分布在三个不同的地 理位置即称之为三数据中心,通常是指生产中心,加上同城灾备中心以及异地灾备中心。HyperMetro特性与 OceanStor统一存储系统的HyperR