阵列双活数据中心解决专项方案.docx

资料编码阵列双活华为双活数据中心处理方案技术提议书3月11日华为技术版权全部 华为技术 。 保留一切权利。非经本企业书面许可，任何单位和个人不得私自摘抄、复制本文档内容部分或全部，并不得以任何形式传输。商标申明和其它华为商标均为华为技术商标。本文档提及其它全部商标或注册商标，由各自全部些人拥有。注意您购置产品、服务或特征等应受华为企业商业协议和条款约束，本文档中描述全部或部分产品、服务或特征可能不在您购置或使用范围之内。除非协议另有约定，华为企业对本文档内容不做任何明示或默示申明或确保。因为产品版本升级或其它原因，本文档内容会不定时进行更新。除非另有约定，本文档仅作为使用指导，本文档中全部陈说、信息和提议不组成任何明示或暗示担保。华为技术地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：用户服务邮箱：用户服务电话： 用户服务传真：目 录1 适用场景（供参考，实际使用删除）11.1 文档适用场景说明11.2 版本更新12 概述12.1 项目背景22.1.1 项目概述22.1.2 建设总体要求22.2 需求分析22.2.1 需求分析32.2.2 现实状况分析32.2.3 建设目标（适适用于升级改造）52.2.4 方案设计标准63 存放双活架构选择63.1 存放双活架构选择73.1.1 存放双活架构描述73.1.2 业界存放双活技术路线73.1.3 存放双活架构对比74 系统方案设计94.1 整体架构设计104.1.1 方案描述104.1.2 存放双活架构要求114.2 存放双活方案具体设计124.2.1 虚拟化存放双活设计134.2.2 双活读策略设计134.2.3 优选路径设计144.2.4 虚拟机跨数据中心vMotion设计（可选）144.2.5 “逃生”功效设计154.2.6 镜像快速恢复功效设计154.2.7 存放双活方案仲裁设计154.2.8 跨数据中心网络设计174.3 存放双活方案应用配置提议184.3.1 VMware配置提议184.3.2 FusionSphere配置提议184.3.3 Oracle RAC配置提议194.4 华为存放双活方案优势194.5 存放双活方案故障切换和恢复214.5.1 故障切换步骤214.5.2 故障恢复步骤295 方案配置315.1 方案配置列表325.1.1 软硬件配置列表325.1.2 服务配置列表326 关键技术336.1 网络层处理方案336.1.1 服务器负载均衡技术（SLB）336.1.2 全局负载均衡(GSLB)376.1.3 DWDM416.2 存放层处理方案426.2.1 HyperMetro技术426.3 主机层处理方案486.3.1 VMWare容灾技术486.4 数据库层处理方案506.4.1 Oracle RAC技术506.5 应用层处理方案596.5.1 Weblogic集群技术596.6 管理层处理方案676.6.1 灾备决议支持平台方案677 容灾相关产品及规格787.1 Tecal RH5885 V3机架服务器787.1.1 功效和价值797.1.2 规格参数807.2 OceanStor V3系列存放807.2.1 功效和价值807.2.2 规格参数817.3 FusionSphere云操作系统817.3.1 FusionCompute虚拟化827.3.2 FusionManager云管理847.4 SNS系列867.4.1 功效和价值867.4.2 规格参数878 缩略语表881 适用场景（供参考，实际使用删除）1.1 文档适用场景说明本文档适用以下场景:1) 同城容灾，生产中心和灾备中心之间容灾链路距离100km；2) 要求RPO=0；3) RTO0，部件故障或生产中心故障，能自动切换；4) 生产中心和灾备中心之间有裸光纤网络。5) 适用VIS 4节点和8节点双活（2个4节点）环境注：以下蓝色字体依据具体项目情况替换或删除。1.2 版本更新日期修订版本描述作者-03-28V1.0第一次公布，未增加网络双活部分，需要待网络处理方案同事补充；未增加FusionSphere双活部分，待测试有初步结果后再增加。陈晓丽-05-04V1.1依据评审意见进行修改陈晓丽-05-30V2.0增加FusionSphere双活部分,统一术语陈晓丽-07-30V3.0增加双活8节点内容陈晓丽-10-29V4.0修改8节点描述陈晓丽2 概述2.1 项目背景2.1.1 项目概述XX数据中心XX生产平台，是全局计算中心、存放中心、备份中心，承载着XX关键业务系统，伴随业务快速发展，对业务连续性要求也越来越高。此次项目建设以XX2个数据中心为2个物理站点，并考虑异地一处作为异地站点，构建跨双数据中心（XX公里）实现双活站点存放虚拟化平台。该平台关键为各类应用业务提供高可用性基础保障，为构建虚拟数据中心提供存放资源和服务，保障数据一致性和完整性。2.1.2 建设总体要求1) 云数据中心建设云数据中心建设是建设云平台关键和关键，虚拟数据中心负责按需提供满足要求运算处理资源、存放资源、网络资源等IT基础架构服务。2) “站点双活+异地数据备份”灾备体系建设数据中心提供满足安全、高效管理和保障业务连续性功效。经过“站点双活+异地数据备份”方案，实现不一样灾难场景下业务连续性要求。3) 统一管理平台需求实现对双活数据中心中包含设备统一管理，涵盖日常管理、资源分配、性能监控、日志审计等内容。2.2 需求分析2.2.1 需求分析云数据中心建设虚拟化是云平台建设基础。经过虚拟化技术进行整合，形成一个对外提供计算资源为主池化管理（包含服务器池、存放池、网络池等），同时提供运行环境等基础服务。服务器虚拟化能够消除XX局原有业务系统“一台服务器运行一个应用程序”模式下效率低下现象，在这种模式下，大多数服务器远未得到充足利用。借助服务器虚拟化技术，一台服务器可用作多个“虚拟机”，而且每个虚拟机全部能够在不一样环境下运行，比如 Windows、Linux或Apache。所以，采取服务器虚拟化能够将多台服务器整合到更少物理设备上，从而有利于降低空间、能耗和管理需求。经过服务器虚拟化平台建设，能够将现有业务系统逐步迁移到服务器虚拟化平台，并经过双活数据中心帮助增强业务连续性并提供全方面数据保护，方便管道局能够取得连续应用程序可用性和跨两个物理站点自动灾难恢复能力。网络虚拟化经过多种网络技术，将不一样应用相互隔离，使得不一样用户在同一网络上不受干扰地访问各自不一样应用。在交换网络中能够经过虚拟局域网（VLAN）技术来区分不一样业务网段，在路由环境下能够综合使用VLAN、MPLS-VPN、Multi-VRF 等技术，实现对网络访问隔离。在数据中心内部，不一样逻辑网络对安全策略有着各自独立要求，可经过虚拟化技术将一台安全设备分割成若干逻辑安全设备，供各逻辑网络使用。存放虚拟化是指利用虚拟化技术，统一整合管理FC SAN，IP SAN等多个存放设备，形成统一资源池供上层业务使用，屏蔽不一样存放之间差异。“站点双活+异地数据备份”灾备体系建设传统数据中心容灾已经从主备数据中心开始向双活数据中心过渡。主备数据中心建设模式能够在很大程度上提升业务连续性。用户全部业务系统全部在主数据中心运行，而在备数据中心为业务系统提供冷备或热备，当主数据中心应用出现故障时，能够将单个应用或数据中心整体切换到灾备数据中心。但这种模式造成了备数据中心常年处于闲置状态而造成资源浪费。而经过资源整合，能够极大提升资源利用率，同时双活数据中心服务能力是双倍。2.2.2 现实状况分析现在XX局已经建成资产财务一体化平台、人力资源系统、电子商务平台、综合数据库系统、数据存放平台、办公自动化系统等信息系统。其中，关键应用系统包含资产财务一体化平台、综合数据库系统、OA系统等应用系统。业务系统组网图以下:应用系统现实状况（1）资产财务管理一体化资产财务管理一体化是XX局关键应用系统，包含XX局财务、资产、物资、检修、运行等工作，布署方法为集中式布署，业务窗口时间为7*二十四小时。资产财务管理一体化关联络统是电子商务平台，系统之间有业务步骤和数据交换。（2）综合数据库综合数据库包含综合统计和内主页等系统，包含XX局下属全部电厂数据上报和信息访问。（3）总部OA系统XX局OA系统采取Lotus Domino平台，包含OA办公、公文审批和内网邮件等。XX局OA系统为分布式布署(从一级到三级)。总部OA系统和XX局下属单位OA系统之间关键为收发公文。各应用系统IT现实状况以下表所表示：系统序号应用系统服务器数量数据量(GB)数据增量（GB）存放方法操作系统数据库虚拟化1XX业务平台2台P780小机40005GB/天DS8100AIX 6.1Oracle11gR2 RAC无2XX系统2台IBM X36501002G/天RDM（裸设备映射）windows R2无VMware 5.5网络系统现实状况目前已建设同城灾备中心，租用运行商机房，和生产中心距离约20km。中间链路租用运行商裸光纤链路，并自购5台中兴M721 DWDM设备，其中A系统在生产中心使用两台DWDM设备实现冗余，B系统在生产中心使用1台DWDM设备，灾备中心放置2台DWDM设备。生产中心采购2台思科Nexus7010作为关键交换机，同城灾备中心没相关键交换机。网络现实状况以下图所表示：现实状况风险分析在XX局以往业务系统架构中,关键业务系统采取小机,其它非关键业务采取VMware虚拟化架构,关键数据库系统和业务均存放在XX存放上,整个业务系统未进行高可用保护,业务系统存在单点故障风险。且XX存放系统面临立即过保问题，怎样平滑进行存放系统切换是必需要考虑问题。2.2.3 建设目标（适适用于升级改造）此次项目建设关键目标有三个：（1）原数据中心业务逐步迁移到新数据中心（2）新数据中心和原数据中心升级为双活数据中心架构（3）建设异地灾备中心2.2.4 方案设计标准经过对用户需求了解，结合XX应用系统业务特点，方案关键遵照以下标准进行设计：高性能：充足考虑容灾系统处理能力，使其整个系统在中国三到五年内保持领先水平，并含有长足发展能力，以适应未来灾备技术发展。高可靠性：灾备系统是为了深入增强关键业务数据抵御灾难能力，所以在灾备系统设计阶段需要充足考虑其本身稳定性和可靠性，从而保障关键数据能够连续、稳定传送到异地灾备中心。当出现任何问题时全部能够经过灾备数据得以恢复。标准化：全部灾备处理方案全部应符合相关中国及国际标准以确保不一样品牌灾备处理方案之间互操作性和系统开放性。可扩展性：目前灾备系统设计不仅应满足目前需要，还需充足考虑业务发展，同时便于向更新技术升级和衔接，保护目前投资。可维护性：整个灾备系统设计，充足考虑易于管理，易于维护，操作简单，易学，易用，便于进行配置，发觉故障。安全性：因为灾备系统承载是关键业务系统数据备份，所以设计需要考虑传输、存放等灾备整个过程中安全性。高性价比：灾备系统建设首先要从系统实用性角度出发，满足不一样业务系统实际需要和前瞻性同时，选择最高性价比设计方案。3 存放双活架构选择3.1 存放双活架构选择3.1.1 存放双活架构描述双活数据中心定义是指两个数据中心共享存放、网络和服务器资源，两个数据中心同时对外提供服务，整个系统含有业务负载均衡和自动故障切换功效。存放双活作为整个系统关键基础架构平台，关键处理以下两个关键问题。一是怎样在两个数据中心间实现数据实时同时，从而确保异常情况下，零数据丢失（RPO=0）。二是怎样实现存放资源虚拟化，提供可同时被两个数据中心主机访问存放共享卷，从而实现主机应用集群跨站点布署，确保异常情况下，应用自动切换（RTO0）。 3.1.2 业界存放双活技术路线目前，存放业务通常有以下两种实现存放双活方案架构。一个是基于专业虚拟化存放设备来实现；一个是基于磁盘阵列同时复制技术，配合自动化复制切换软件来实现。因为两种架构采取了不一样技术方案，所以，在方案可靠性、业务连续性和可扩展性方面全部存在一定差异。3.1.3 存放双活架构对比方案可靠性基于虚拟化存放双活方案：通常能够在每个站点布署一台或多台全冗余架构虚拟化存放设备，站点间和站点内全部不存在单点故障风险。基于磁盘阵列同时复制技术双活方案：实际上采取是Stretched架构，立即一台阵列两个控制器布署在两个站点，每站点内部只有一个控制器，存在单点故障风险。数据实时同时技术及性能影响基于虚拟化存放双活方案：采取存放虚拟化设备卷镜像技术实现两站点间数据实时同时。两台存放设备上LUN被虚拟化为一个虚拟卷，主机写操作经过卷虚拟化镜像技术同时写入这两个存放设备，保持数据实时一致。其中任何一个存放设备故障，虚拟卷仍能提供正常IO读写能力，主机业务不受影响。待存放设备恢复正常后，存放虚拟化设备将增量数据后台同时到修复存放设备，整个过程对主机“透明”，不会影响主机业务。基于磁盘阵列同时复制技术双活方案：基于磁盘阵列同时复制技术双活方案是经过建立主存放设备复制到从存放设备同时复制关系，在从存放设备生成一个实时一致数据副原来实现。同时复制对上层主机而言，两个数据中心存放表现为两个不一样LUN。因为同时复制从存放设备不能被主机访问，所以，当主站点存放设备发生故障，需要配合上层自动切换软件实现业务自动切换。恢复业务需要先切换复制关系，将从存放上副本变为可读写，并改变主机存放访问路径，切换时间长。为了确保两个数据中心存放数据实时一致，同时复制和虚拟化卷镜像写操作全部需要等候两端存放同时写成功以后再返回给主机“写成功”。所以，两种架构全部将对IO写操作带来一定时延增加，必需提供低时延同城网络，以减小对写时延影响。存放卷双活访问特征基于虚拟化存放双活方案：基于跨数据中心双活虚拟化存放平台，提供可供两数据中心主机同时进行读写访问共享存放卷。主机访问请求由本数据中心所在虚拟化存放引擎响应，无需跨越同城网络访问另一数据中心虚拟化存放引擎。基于磁盘阵列同时复制技术双活方案：将一台阵列两个控制器布署在两个数据中心，且两个控制器处于主备模式，备控制器无法被主机访问，只能提供一条备用存放路径，不是真正双活。两个数据中心主机全部只能经过访问其中一个控制器来进行IO读写，不仅增加了主机IO路径，而且增加了主控制器业务压力，影响系统性能。方案业务连续性能力基于虚拟化存放双活方案：同一个共享存放卷可经过两个数据中心任意节点被主机访问。其中一个数据中心虚拟化引擎故障、主机故障，甚至整个站点故障时，全部无需对存放进行切换，另一数据中心虚拟化引擎可继续为主机提供访问。故障修复后，无需中止主机访问即可恢复故障前运行状态。基于磁盘阵列同时复制技术双活方案：因为备控制器无法被主机访问，当发生主控制器故障或站点级故障时，需要先切换同时复制关系，再切换主机访问路径，来使存活站点控制器强行接管故障站点控制器工作。切换步骤复制，部分场景甚至需要手工实施命令来强行切换控制器和访问路径。故障修复后，需要中止业务运行来恢复到故障前状态。弹性可扩展基于虚拟化存放双活方案：通常能够在每个站点布署一台或多台全冗余架构虚拟化存放设备。所以，伴随业务增加，方案能够支持引擎横向扩展，且新增引擎和现有引擎组成一个统一虚拟化存放集群，提供统一IO处理能力。基于磁盘阵列同时复制技术双活方案：通常只支持双控，不含有控制器横向扩展能力。无法实现存放资源整合和共享，不能支持弹性可扩展。4 系统方案设计4.1 整体架构设计4.1.1 方案描述存放双活方案作为XX业务关键基础架构，其架构选择决定了整个系统是否可靠高可用、安全可信赖、弹性可扩展。此次方案建设，考虑到XX局上述需求，华为提议采取基于专业虚拟化存放设备来构建高可用、高性能、可扩展存放双活方案。XX局两地三中心容灾系统建设包含同城双活中心：XX数据中心和XX数据中心和异地灾备中心三中心。整体建设包含：双活容灾系统建设、异地灾备系统建设。同城双活容灾建设华为存放双活方案采取OceanStor VIS6600T系列产品（以下简称VIS），实现存放双活架构，为两个数据中心存放同时提供读写服务，且整个存放系统架构全冗余，任意数据中心故障时，另外一个数据中心有一份存放设备和相同数据可用，最大化提升了业务连续性。两个数据中心分别布署多台Oracle数据库服务器和虚拟机服务器，和OceanStor VIS6600T和磁盘阵列等设备。整个双活系统分为存放层、前端网络层和应用层和管理层。存放层，在某某数据中心A和某某数据中心B各布署一台VIS6600T，组成一个VIS集群，为两数据中心主机业务同时提供读写服务。支持扩展至8节点。同时，在某某数据中心A和某某数据中心B配置相同级和同容量磁盘阵列。为了提升热点数据存放性能，使高价值硬盘得以更充足利用，配置不一样类型硬盘：SAS、NL-SAS、SSD以合理分配资源；经过华为存放提供SmartTier功效对热点数据进行连续监控并从机械硬盘迁移到SSD中，深入提升系统性能。两个数据中心磁盘阵列全部由VIS集群接管，利用VIS镜像技术对两中心磁盘阵列做镜像冗余配置，实现两个数据中心存放数据实时镜像，互为冗余。任意数据中心故障，数据零丢失。网络层，数据中心之间集群IP心跳和FC数据传输网络全部采取裸光纤直连，传输控制信息、配置信息和数据同时，满足双活数据中心网络时延要求。应用层，两个数据中心Oracle服务器组成一个Extended RAC集群，提供跨数据中心自动负载均衡和自动故障转移功效。两个数据中心虚拟机服务器组成一个集群，提供跨数据中心虚拟化业务连续性和移动性。为了实现双活数据中心存放设备统一管理，提议布署统一容灾管理软件，经过华为统一容灾管理软件实现双活数据中心可视化管理，并经过管理软件直观展示双活业务物理拓扑。提议将管理软件布署于XX数据中心物理服务器。异地灾备建设对于XX业务，在建设双活数据中心基础上，再进行数据远程容灾。如此一来，XX关键业务数据总共保留了三份，更高程度确保了数据安全性。整体方案架构图以下图所表示（依据实际项目情况修改）：XX数据中心和XX数据中心分别布署多台服务器、1台VIS、X台磁盘阵列、最少2台可提供10GE和GE链路冗余IP交换机和2台FC交换机。其中X台服务器组成多节点Oracle RAC集群和VMware集群、FusionSphere集群，对外提供服务；2台VIS组成4节点VIS集群，统一接管 2个数据中心磁盘阵列，构建跨站点存放资源池；两个数据中心之间利用VIS镜像功效同时数据。第三方仲裁站点使用华为提供第三方仲裁存放单元，使用IP或FC网络连接到XX数据中心和XX数据中心VIS设备。每个数据中心一台XX阵列和第三方仲裁存放单元各提供一个1GB LUN，共3块仲裁盘，供VIS仲裁使用。4.1.2 存放双活架构要求方案对同城网络要求采取FC链路实现同城双数据中心间数据实时同时，采取二层以太网络实现双数据中心间存放虚拟化集群（VIS）和主机应用集群心跳链路通信。为降低数据双写对业务系统影响，提议同城链路时延在1ms以内。同城链路带宽需求，和需要在两数据中心间同时数据量相关，要求链路带宽大于业务系统高峰期数据写带宽。方案对仲裁链路要求为确保多种异常情况下，存放虚拟化集群能够进行仲裁，业界存放双活方案全部需要设计第三方仲裁站点，以确保异常情况下业务连续性。两个双活数据中心和第三方仲裁站点间链路可选择FC或IP网络，大大增加了方案灵活性，有利于降低方案整体成本。应用系统对时延要求双活数据中心建设不仅是存放一个层面双活布署，需要端到端地进行考虑。尤为关键是，目前双数据中心网络时延是否能满足应用系统对网络时延要求？华为提供了一系列测试方法对XX数据中心和XX数据中心网络链路进行检测确定。以下罗列了双活数据中心处理方案两种经典应用场景对时延提议：n Oracle应用时延提议类型 性能好 性能可接收 性能差 db file sequential read 10ms 20ms db file parallel write 10ms 15ms log file parallel write 5ms 15ms n VMware应用时延l 站点之间最大支持VMware ESXi管理网络网络时延是往返10ms RTT 。p vMotion标准版和企业版要求5ms RTT。 p vMotion中10ms RTT延时只有在含有VMware vSphere Enterprise Plus版本许可中才支持，这个版本许可包含Metro vMotion功效。l ESXi vMotion网络需要最少622Mbps网络带宽，而且有冗余链路。n FusionSphere应用时延l 生产站点和容灾站点间距离要在100公里以内，站点间需要租赁L1专线，两个站点间环回时延1ms。4.2 存放双活方案具体设计4.2.1 虚拟化存放双活设计跨数据中心布署OceanStor VIS6600T虚拟化存放集群提供可被两数据中心主机并发访问共享双活卷，连接到其任何节点上主机全部能够访问同一个虚拟卷，并像访问当地存放一样对VIS提供虚拟卷进行读写。经过VIS虚拟化功效，实现对多种磁盘阵列统一接管，将数据中心里不一样类型磁盘阵列资源池化，实现存放资源整合和优化，提升资源利用率。同时经过VIS虚拟化卷镜像功效，确保两个站点磁盘阵列之间数据实时同时。两台存放设备上LUN被虚拟化为一个虚拟卷，主机写操作经过卷虚拟化镜像技术同时写入两个数据中心存放设备，保持数据实时一致。具体IO读写步骤以下图所表示。VIS虚拟化卷镜像原理及IO步骤VIS镜像写I/O步骤以下：1) 写请求到镜像卷；2) 镜像卷将请求复制为两份下发到两中心镜像数据盘；3) 镜像数据盘返回写操作完成；4) 镜像卷返回写I/O操作完成。4.2.2 双活读策略设计华为VIS含有灵活读取策略：循环读、优选读、基于站点读（Site Read）。针对双活数据中心场景，设计了“Site Read”模式，以避免虚拟化引擎跨数据中心读取数据，提升方案整体性能。其读I/O步骤以下：1) 读请求到镜像卷；2) 镜像卷依据策略下发请求到和虚拟化引擎在同一个数据中心镜像数据盘读取数据；3) 镜像数据盘返回读数据；4) 镜像卷返回读数据。其中任何一个存放设备故障，虚拟卷选择正常存放设备响应主机I/O，主机业务不受影响。而且采取差异位图统计故障期间数据改变情况，待存放设备恢复正常后，存放虚拟化设备将增量数据后台同时到修复存放设备，整个过程对主机“透明”，不会影响主机业务。4.2.3 优选路径设计华为多路径软件UltraPath支持双活优选路径模式。为了避免跨数据中心进行I/O处理而带来时延增加，UltraPath将优先使用本数据中心VIS节点下发I/O路径，只有当本数据中心节点路径故障后才使用远端数据中心VIS节点路径。说明：目前FusionSphere不支持优选路径功效。（蓝色字体部分实际使用时不对用户表现）4.2.4 虚拟机跨数据中心vMotion设计（可选）经过Fibre Channel、iSCSI 存放区域网络 (SAN)和数据中心间网络，虚拟化存放集群为两个数据中心主机提供共享访问镜像卷，构建VMware ESX vMotion over Distance，可在数据中心之间实时迁移在线运行虚拟机，可避免停机、确保业务连续性和事务处理完整性，使XX局能够在实施硬件维护时无需安排停机时间及中止业务操作。同时，VMware ESX vMotion over Distance还能够使两数据中心资源池内虚拟机连续进行自动优化，最大程度地提升硬件利用率、灵活性及可用性。4.2.5 “逃生”功效设计华为VIS虚拟化智能存放含有“逃生”功效，对所接管磁盘阵列，无需更改阵列映射LUN任何内容，当双活数据中心两台VIS出现故障，将VIS从整个SAN网络中移除，阵列直接将LUN映射给主机使用，主机可正常拉起业务，预防出现因为虚拟化失败或虚拟化不能快速回退造成数据丢失等造成业务系统不可恢复情况。说明：此功效当在上层应用为虚拟化场景，且下层阵列为友商阵列时需要了解友商阵列清预留命令才能实现“逃生”功效。（蓝色字体部分实际使用时不对用户表现）4.2.6 镜像快速恢复功效设计华为VIS镜像功效含有镜像故障快速处理机制，只需要重新镜像数据差量而不需要做全量镜像。该算法基于一个位图数据结构：数据改变对象（DCO）。一旦某个镜像卷或整个设备故障，VIS会在DCO中统计两个卷之间差异点。当镜像卷或存放设备恢复，则VIS依据DCO差异情况，从源卷中将数据读入同时到镜像卷。达成快速恢复镜像目标，不用完全重新同时。4.2.7 存放双活方案仲裁设计有第三方仲裁站点以下图所表示，为确保当任一数据中心整体故障或中间链路故障等极端场景下，主机业务连续性，方案提议采取第三方仲裁磁盘，由两个双活生产中心及第三仲裁存放单元分别为虚拟化存放集群提供一个仲裁盘。这么，便能够确保即使出现数据中心整体故障或中间链路故障等极端场景，虚拟化存放集群仍然能够访问最少两块仲裁盘进行仲裁，确保业务可靠性和数据一致性。存放双活方案仲裁设计第三方仲裁站点在XX点，XX点和两个数据中心之间经过XX线互联。可直接从布署于XX点仲裁存放单元上创建一个1GBLUN，可经过FC链路或IP链路映射给两个数据中心VIS。当出现任一数据中心整体故障或中间链路故障等极端场景，整个集群仲裁过程以下：1) XX数据中心和XX数据中心之间中间链路断开，造成两个数据中心集群发生分裂，进而两个中心之间存放虚拟化平台发生“脑裂”，存放虚拟化平台从一个大集群分裂为两个小集群；2) 依据集群“脑裂”通用原理，当大集群分裂为两个小集群时，每个小集群分别抢占存放第三方仲裁信息仲裁盘，抢占到51%以上仲裁信息（即抢占到2个仲裁盘）小集群“获胜”，将继续对外提供服务，为应用提供存放访问空间；3) 未抢占到仲裁信息小集群则自动退出集群，不再对外提供服务；4) 当中间链路恢复时，“自动退出小集群”检测到中间链路由故障变为正常，尝试和“继续服务小集群”握手通信，经过握手通信两个小集群再次组成一个大集群，以Active-Active模式提供服务，相互之间实现冗余。无第三方仲裁站点若无第三方仲裁站点，则选择将第三方仲裁盘配置在任意一个数据中心，并实施必需掉电保护方法，比如布署独立UPS电源。采取此种方法布署，则当出现存放两块仲裁盘数据中心整体故障，如大面积停电，火灾等灾难。因为集群无法取得超出51%仲裁信息而造成整个集群停止对外服务，业务中止，需要手工进行恢复。4.2.8 跨数据中心网络设计同城双活数据中心网络最少包含五张网：l 业务访问网（IP，作为用户端访问服务器关键网络）l 应用迁移网和应用心跳网（10GE，关键进行虚拟机在线迁移操作和主机集群心跳网络）l 存放镜像网络（FC）l VIS心跳网络（GE二层网络，作为VIS集群心跳网络）l VIS仲裁网络（GE三层网络或FC）不一样网络间，能够经过划分不一样VLAN实现。为保障方案可靠性，华为同城双活方案采取数据传输链路和心跳链路分离设计标准。经过VLAN或VRF隔离端到端流量，同时进行分配独立物理互联链路，做到业务流量和集群心跳分离流量，互不影响。采取FC链路实现同城双数据中心间数据实时同时，采取二层以太网络实现双数据中心间存放虚拟化集群（VIS）和主机应用集群心跳、同时互联链路通信。因为FusionCompute仅支持配置一个网关，所以数据中心A和数据中心B中作为网关汇聚（关键）交换机，需要配置为主备网关模式。主网关优选生产站点侧交换机。在实际进行VLAN跨站点配置时，在以太网汇聚交换机上根据VLAN配置主备网关VRRP。对于一个VLAN，布署了虚拟机业务一侧站点网关配置为主网关，另一侧站点网关配置为备网关。若两个数据中心之间存在VMware vMotion在线迁移操作，则VMware单台虚拟机跨数据中心迁移要求IP链路带宽为1Gb/s，若存在多台虚拟机同时迁移（并行），则对应带宽要增加。实际布署时，提议最少布署一条10GE链路用于VMware迁移复制流量。VIS镜像必需采取FC光纤互联。两数据中心相距25km以内可采取裸光纤直连。假如距离超出25km或只有一对裸光纤，提议使用OTN波分设备来构建两数据中心同城网络。布署OTN波分设备时，提议采取1+1主备线路双发选收方法，提供物理链路高可靠性。一对裸光纤中止时，另一条裸光纤可立即恢复业务流量，切换时上层网络及应用无感知。园区网络设计适用场景：两个数据中心容灾距离小于25km，采取光纤交换机直连。两个数据中心中用于主机应用心跳网络、虚拟机vMotion网络以太网交换机提议采取10GE并一对一级联；用于VIS集群心跳网络以太网交换机采取GE并一对一级联；用于存放数据同时FC交换机一对一级联；以太网交换机也能够Trunk端口捆绑交叉组网。4节点VIS集群一对一级联组网图以下：8节点VIS集群一对一级联组网图以下：同城网络设计适用场景：两个数据中心容灾距离小于100km，链路采取DWDM连接。两个数据中心中用于心跳网络IP交换机和用于存放复制网络FC交换机全部分别连接到OTN波分设备。不一样业务互联，经过波分复用统一承载于两对1+1备份裸光纤或一对裸光纤中。4节点VIS集群组网图以下：8节点VIS集群组网图以下图所表示：4.3 存放双活方案应用配置提议4.3.1 VMware配置提议 提议将XX数据中心和XX数据中心全部用于运行虚拟机ESXi服务器配置为一个集群，配置HA和DRS功效。 虚拟机必需安装VMware Tools软件（无偿）。VIS上创建用于虚拟机卷必需映射给集群内全部服务器，方便提供共享存放服务。 服务器之间提议经过万兆以太网提供心跳服务和vMotion迁移流量，集群内全部服务器需符合集群兼容性规则。 假如进行虚拟机在线迁移操作，最好选择业务不太繁忙时进行。 为了预防生产站点突发性灾难，同城双活数据中心运行虚拟机服务器需要保持开机状态。4.3.2 FusionSphere配置提议 Fusionsphere双活方案中，需要启用DRS特征进行虚拟机当地优先开启和HA，所以假如用户配置了其它DRS规则，则不能和容灾DRS规则冲突，不然无法确保虚拟机当地优先开启和HA。 数据中心A和数据中心B业务均经过主网关提供，计划数据中心A和数据中心B业务网络带宽时需要同时考虑该部分业务需求。4.3.3 Oracle RAC配置提议基于虚拟化设备双活方案是能真正支持Oracle RAC跨数据中心布署方案，Oracle RAC跨数据中心布署，对数据库版本和业务系统布署方法有部分要求和提议： 要实现Oracle数据库跨数据中心集群布署，需采取支持Oracle Extended Distance ClusterOracle版本。提议使用Oracle 10g发行版2 或更高版本。 Oracle布署通常有三种存放管理方法：文件系统，裸盘和ASM，推荐使用ASM。 对于Oracle Extended Distance Cluster配置，提议对 Oracle Clusterware和Oracle 数据库二进制文件和主目录进行当地存放，以降低站点间流量。 为了避免跨数据中心进行数据交互，提议在Oracle RAC层创建不一样service，实现业务分离。经过Service-Side TAFPREFERRED功效设置应用只访问当地实例；同时设置远端数据中心实例为AVAILABLE，只有当地实例全部故障才切换到远端实例；能够降低RAC跨数据中心交互次数，提升整体性能。4.4 华为存放双活方案优势真正“A-A”高可靠架构虚拟化存放集群采取真正“Active-Active”高可靠架构，提供可被两数据中心主机并发访问共享双活卷，连接到其任何虚拟化引擎上主机全部能够访问同一个虚拟卷，并像访问当地存放一样对虚拟卷进行读写。两数据中心可同时对同一个业务系统提供读写服务，并自动实现业务在站点间负载均衡，为用户提供愈加灵活数据访问方法。假如采取将一台阵列两个控制器布署在两个数据中心方案，每数据中心内部只有一个控制器。因为备控制器无法被生产中心主机访问，只能提供一条备用存放路径，用户无法访问备数据中心数据。拓扑可视化图形化展示双活物理拓扑图和业务逻辑拓扑，监控双活数据中心运行状态，提供业界领先ALL IN ONE可视化、步骤化容灾业务管理。更高系统可用性经过在每个站点布署一台或多台全冗余架构虚拟化存放设备，站点间和站点内全部不存在单点故障风险，能够避免任何单点故障造成业务中止风险。华为独特虚拟化存放集群架构，在单个数据中心虚拟化引擎故障情况下，不仅不影响主机业务，还可确保数据实时镜像不中止，提供更高可用性。假如采取将一台阵列两个控制器布署在两个站点方案，每站点内部只有一个控制器，存在单点故障风险。更高存放资源利用率虚拟化存放设备能够统一接管不一样厂商，不一样品牌存放设备，充足利用现有存放设备资源。两个数据中心存放资源被统一接管后，被虚拟化为统一存放资源池，并以双活方法共同对外提供服务，在数据中心之间自动进行负载均衡，存放资源得到充足利用，提升了资源利用率。假如采取将一台阵列两个控制器布署在两个数据中心方案，每数据中心内部只有一个控制器。因为备控制器无法被主机访问，所以，和传统容灾方案一样，被控制器所在数据中心存放资源无法充足利用，存放资源浪费严重。愈加好弹性可扩展能力华为存放双活方案可支持在每个数据中心布署一台或多台全冗余架构虚拟化存放设备。所以，伴随业务增加，方案能够支持引擎横向扩展，且新增加引擎和现有引擎组成一个统一虚拟化存放集群，提供统一IO处理能力。假如采取只支持双控双活数据中心架构，不含有控制器横向扩展能力。伴随业务增加，方案只能经过新购设备形式扩容，无法实现存放资源整合和共享，不能支持弹性可