中信集团灾备中心建设专业方案.docx

中信集团灾备中心建设方案

V4.0

中企网络通讯技术
5月14日

目 录
第1章 集团应用系统灾备需求 4
1.1 灾备项目背景 4
1.2 集团生产站点总体现状 4
1.3 灾备项目需求 9
第2章 集团灾备中心建设目标 10
2.1 灾备级别划分 10
2.1.1 第2级 备份介质异地存放+异地备份数据中心 10
2.1.2 第3级 网络传输+异地数据中心部分设备支持 11
2.1.3 第4级 网络传输+异地数据中心完整设备支持 12
2.2 灾备系统组成 14
2.3 灾备模式介绍 15
2.4 集团一期灾备项目关键指标要求 15
第3章 业务系统灾备建设方案 16
3.1 方案设计思路 16
3.2 灾备中心VM规划 17
3.3 信息披露系统灾备设计 18
3.3.1 方案设计拓扑图 18
3.3.2 虚拟服务器层面 18
3.3.3 Oracle数据库设计 19
3.4 股份门户网站灾备设计 20
3.4.1 方案设计拓扑图 20
3.4.2 虚拟服务器层面 20
3.4.3 SQL Server数据库设计 20
第4章 灾备网络概要设计 21
4.1 方案设计拓扑图 21
4.2 集团管理信息部部署方式 22
4.3 上海宝山机房部署方式 23
4.4 灾备数据业务流向 24
4.4.1 Veeam灾备数据复制 24
4.4.2 应用系统数据复制 25
4.5 灾备切换场景及业务数据流向分析 27
4.5.1 正常情况下的路由及数据流 27
4.5.2 灾备切换场景概述 28
4.5.3 灾备切换情况说明 30
第5章 数据灾备及数据回复的实现过程 31
5.1 数据灾备过程 31
5.2 数据回复过程 32
第6章 灾备技术说明 33
6.1 Veeam的实现过程 33
6.2 Veeam的优势分析 34
第7章 灾备项目实施相关 36
7.1 实施计划 36
7.2 灾备站点基础设施 37
7.2.1 软硬件选型 39
7.3 灾备站点虚拟机配置 40
7.4 项目交付 41
7.5 安装过程 41
7.6 项目支持团队 42
7.7 项目进度 42
7.8 UAT测试标准 43
7.9 灾备启动流程 44
7.10 灾备回复流程 45
7.11 责任划分 46
第8章 客户服务 48
8.1 客户服务理念 48
8.2 一站式服务支持 48
8.3 客户满意度的措施 48
8.4 服务优势 49
8.5 中企通信服务质量承诺标准 49
8.5.1 MPLS VPN专线承诺标准 49
8.5.2 中企通信云平台承诺标准 50
第9章 中企通信灾备中心服务介绍 51
9.1 中企通信灾备中心服务综述 51
9.2 上海宝山数据中心概述 52
9.3 中企通信云计算服务（SMARTCLOUD™）概述 52
9.4 中企通信灾备服务（BRR）概述 54
第10章 成功案例 56

第1章 集团应用系统灾备需求
1.1 灾备项目背景
伴随集团业务信息量增大，集团日常工作对信息化依靠程度越来越高。业务系统一旦中止，将给集团带来巨大经济损失和负面效应。业务连续性保障工作成为集团管理信息部首要考虑问题。所以要建设异地灾备中心，对关键业务系统进行容灾备份，在系统出问题时，能有相关容灾系统立即接管业务，确保业务系统连续、稳定运转。
1.2 集团生产站点总表现实状况
中国中信集团建设有IT共享服务中心和数据中心，承载着集团全部信息化系统及子企业部分应用系统。

IT共享服务中心拥有2台IBM P710主机、6台IBM P730主机（112核CPU、448G内存）和10台IBM X3850服务器、2台IBM X3650服务器（44颗6核CPU、1664G内存），利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时利用2台IBM V7000存放（22T可用容量）、1台Netapp V6210a存放（20T可用容量）构建了存放资源池数据中心拥有2台IBM P730主机（32核CPU、128G内存）和3台IBM X3850服务器（18颗6核CPU、160G内存），利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时利用1台IBM V7000存放（11T可用容量）构建了存放资源池；小型机资源池和PC服务器资源池经过4台CISCO 9148光纤交换机多路径连接到存放资源池。
IT共享服务中心和数据中心利用PowerVM、VMware技术布署了40余台小型机虚拟机和140余台PC服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统开发测试环境。
虚拟机操作系统包含AIX（6.1为主）、Windows（、、、）、Linux（Redhat、CentOS、SUSE），数据库包含Oracle RAC（10g、11g）、SQL Server双机、DB2、MySQL等，中间件包含Websphere、Weblogic、Tomcat等，应用平台包含Portal、Domino、HFM等。
IT共享服务中心和数据中心网络由2台CISCO 4507R和一台Huawei5700交换机组成，利用2台天融信TG61040、2台Feitigate1000c防火墙划分出关键区、辅助区、安全区、测试区、Web区等多个虚拟网络，防火墙含有访问控制、防攻击、防病毒功效。
IT共享服务中心和数据中心还布署有2对美国优势网络企业Inchorus1240应用前端交换机，配置了部分应用系统负载均衡。
用户访问各应用系统时，大部分经过TDS统一认证，有些应用系统有自己认证系统。
1.2.1 一期生产站点现实状况
集团信息披露系统和中信股份门户网站服务器架构基于双机热备份架构布署。

信息披露系统现实状况以下：

图所表示，现在信息披露系统由9台服务器组成，其中2台web服务器、2台HFM服务器、2台数据管理服务器和及1台报表分析服务器共7台服务器运行在集团VMware虚拟化平台上，操作系统为Windows R2，2台数据库服务器运行集团PowerVM虚拟化平台上，操作系统为AIX 6.1。
7台VMware虚拟服务器布署着Oracle企业Foundation、HFM、BIEE，和景华天创企业Bivison；2台PowerVM虚拟化小型机布署着Oracle RAC。
2台web服务器、2台数据管理服务器使用美国优势企业Inchorus配置了负载均衡，2台web服务器为双活模式，2台数据管理服务器为主备模式。
信息披露系统数据分为两类：一类为随机上报披露数据，每个月约100条左右；一类为按季度上报合并数据，现在有70家子企业上报，每家每次数据量为5M左右。

股份门户现实状况以下：

图所表示，现在中信股份门户网站由6台服务器组成，2台web服务器、2台CMS服务器、2台数据服务器共6台服务器运行在集团VMware虚拟化平台上，操作系统为Windows R2。
6台VMware虚拟服务器布署着Windows IIS、Euroland企业CMS和Windows SQL server数据库集群。
2台web服务器使用美国优势企业Inchorus配置了负载均衡，为双活模式。
门户网站数据更新是随机，每个月约15条左右。
依据集团提供信息系统调查表计算出，生产环境下，各信息系统资源用量为：
服务器
CPU
内存
存放
VMDK文件大小
IP地址
负载均衡（服务）IP
中信集团信息披露系统
Web服务器1
2
8G
C:100G D:50G
8G 12G
172.20.17.65
172.20.16.26
Web服务器2
2
8G
C:100G D:50G
8G 12G
172.20.17.66
HFM应用服务器1
2
16G
C:100G D:150G
11G 24G
172.20.17.55
172.20.17.55
HFM应用服务器2
2
16G
C:100G D:150G
8G 14G
172.20.17.56
172.20.17.56
数据管理服务器1
2
16G
C:100G D:150G
10G 21G
172.20.17.58
172.20.16.25
数据管理服务器2
2
16G
C:100G D:150G
8G 12G
172.20.17.59
数据库集群

172.20.21.30
中信股份门户网站
Web服务器1
4
12G
C: 50G
25G
172.20.2.8
172.20.2.18
Web服务器2
4
12G
C: 50G
23G
172.20.2.9
CMS服务器1（主服务器）
4
12G
C: 50G
24G
172.20.17.68
172.20.17.68
CMS服务器2（备用服务器）
4
12G
C: 50G
22G
172.20.17.69
172.20.17.69（备用地址）
数据库服务器1
4
16G
C:
150G
500G
29G
2G
172.20.21.32
172.20.21.35
172.20.21.34

1.3 灾备项目需求
集团现在第一期计划针对信息披露系统和中信股份网站进行灾备项目标实施。现在信息披露系统web服务器、HFM服务器、数据管理服务器和报表分析服务器共7台服务器运行在集团vmware虚拟化平台上，披露系统Oracle数据库系统运行在小型机上，该系统关键功效是完成财务报表合并，同时支持中信股份信息披露业务；中信股份官方网站6台服务器也运行在集团vmware虚拟化平台上，该网站属于中信股份官方网站，是中信股份集团对外信息公布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中止后，灾备站点能够在一定时间内完全接管业务，确保数据在异地有冗余备份。
Ø 信息披露系统要求：
1. 灾备站点Web服务器、HFM服务器、数据管理服务器、Oracle数据库服务器和DNS服务器IP地址均不能变更；
2. 信息披露系统只针对中信集团本部和集团下属各个子企业提供服务，全部经过中信集团第二张网进行内网访问；
3. 生产站点和灾备站点之间经过MPLS VPN网络连通，实现数据传输；
Ø 中信股份门户网站要求：
1. 灾备站点Web服务器、CMS服务器和SQL Server数据库服务器IP地址能够不和生产站点Web服务器、CMS服务器和SQL Server数据库服务器保持一致；
2. 中信股份门户网站对外经过互联网提供访问服务；
3. 生产站点和灾备站点之间经过MPLS VPN网络连通，实现数据传输和交互；

第2章 集团灾备中心建设目标
2.1 灾备等级划分
依据国务院信息化工作办公室于4月下发《关键信息系统灾难恢复指南》中定义，灾难恢复等级能够划分为6个不一样等级，依据不一样灾难恢复需求确定灾难恢复等级，不一样灾难恢复等级，其处理方案可依据灾难恢复登记以下关键方面所达成程度分为七级，即从低到高有七种不一样层次灾难恢复处理方案。能够依据中信集团各业务系统及数据关键性和恢复策略，来设计选择灾难恢复方案和计划。依据《关键信息系统灾难恢复指南》定义，灾难恢复等级选择，关键决定以下七个要素：
² 数据备份系统
² 备用数据处理系统
² 备用网络系统
² 备用基础设施
² 技术支持
² 运行维护管理
² 灾难恢复预案
国信办在《关键信息系统灾难恢复指南》中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，根据业务连续性要求，集团总部信息系统分为关键信息系统、次关键信息系统和非关键信息系统3类，每类信息系统适用不一样国家灾备等级标准：
l 关键信息系统：4级
l 次关键信息系统：3级
l 非关键信息系统：2级
具体内容以下：

2.1.1 第2级 备份介质异地存放+异地备份数据中心
第二级灾难恢复应含有技术和管理支持如表A．2所表示。
表 A. 1 第2级灾难恢复技术和管理支持

要素
要求
A.2.1
数据备份系统
a) 完全数据备份最少每七天一次；
b) 备份介质场外存放。
A.2.2
备用数据处理系统
a) 灾难发生时能在预定时间内调配所需数据处理设备到场。
A.2.3
备用网络系统
a) 灾难发生时能在预定时间内调配所需通信线路和网络设备到位。
A.2.4
备用基础设施
a) 有符合介质存放条件场地；
b) 有满足信息系统和关键业务功效恢复运作要求备用场地。
A.2.5
技术支持
—
A.2.6
运行维护支持
a) 有介质存取、验证和转储管理制度；
b) 按介质特征对备份数据进行定时有效性验证；
c) 有备用场地管理制度；
d) 和相关厂商有符合灾难恢复时间要求紧急供货协议；
e) 和相关运行商有符合灾难恢复时间要求备用通信线路协议。
A.2.7
灾难恢复预案
a) 有对应经过完整测试和演练灾难恢复预案。
2.1.2 第3级 网络传输+异地数据中心部分设备支持
第三级灾难恢复应含有技术和管理支持如表A．3所表示。
表 A. 2 第3级灾难恢复技术和管理支持

要素
要求
A.3.1
数据备份系统
a) 完全数据备份最少天天一次；
b) 备份介质场外存放；
c) 天天数次利用通信网络将关键数据定时批量传送至备用场地。
A.3.2
备用数据处理系统
a) 配置灾难恢复所需部分数据处理设备。
A.3.3
备用网络系统
a) 配置部分通信线路和对应网络设备。
A.3.4
备用基础设施
a) 有符合介质存放条件场地；
b) 有满足信息系统和关键业务功效恢复运作要求场地。
A.3.5
技术支持
a) 在备用场地有专职计算机机房运行管理人员。
A.3.6
运行维护支持
a) 按介质特征对备份数据进行定时有效性验证；
b) 有介质存取、验证和转储管理制度；
c) 有备用计算机机房管理制度；
d) 有备用数据处理设备硬件维护管理制度；
e) 有电子传输数据备份系统运行管理制度。
A.3.7
灾难恢复预案
有对应经过完整测试和演练灾难恢复预案。
2.1.3 第4级 网络传输+异地数据中心完整设备支持
第四级灾难恢复应含有技术和管理支持如表A．4所表示。
表 A. 3 第4级灾难恢复技术和管理支持

要素
要求
A.4.1
数据备份系统
a) 完全数据备份最少天天一次；
b) 备份介质场外存放；
c) 天天数次利用通信网络将关键数据定时批量传送至备用场地。
A.4.2
备用数据处理系统
a) 配置灾难恢复所需全部数据处理设备，并处于就绪状态或运行状态。
A.4.3
备用网络系统
a) 配置灾难恢复所需通信线路；
b) 配置灾难恢复所需网络设备，并处于就绪状态。
A.4.4
备用基础设施
a) 有符合介质存放条件备用场地；
b) 有符合备用数据处理系统和备用网络设备运行要求场地；
c) 有满足关键业务功效恢复运作要求场地；
d) 以上场地应保持7 x 24运作。
A.4.5
技术支持
在备用场地有：
a) 7 x 24专职计算机机房管理人员；
b) 专职数据备份技术支持人员；
c) 专职硬件、网络技术支持人员。
A.4.6
运行维护支持
a) 有介质存取、验证和转储管理制度；
b) 按介质特征对备份数据进行定时有效性验证；
c) 有备用计算机机房运行管理制度；
d) 有硬件和网络运行管理制度；
e) 有电子传输数据备份系统运行管理制度。
A.4.7
灾难恢复预案
有对应经过完整测试和演练灾难恢复预案。

2.2 灾备系统组成
一个经典灾备系统由灾备中心基础环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复计划等组成。

在集团第一期灾备项目中，灾备系统组成以下：
Ø 基础设施环境：由中企通信在上海宝山云计算数据中心（T3+等级）提供异地灾备数据中心基础设施环境，以保障数据备份系统和备份处理系统正常工作；
采取DELL高性能x86架构服务器、SAN存放和光纤交换机作为底层硬件资源；
Ø 数据备份系统：依靠集团总部数据中心和上海宝山数据中心之间高速、稳定MPLS VPN骨干网络，经过中企通信SmartCLOUD vONE私有云和虚拟化灾备软件veeam backup & replication来构建此次项目标数据备份系统；
Ø 备份处理系统：veeam server控制台系统、Oracle数据库、SQL Server数据库、TDS身份验证系统和DNS系统，组成灾备中心整个备份处理系统；

灾难恢复计划关键基于以下两个阶段考虑：
系统切换阶段：业务系统故障切换关键针对灾备中心业务系统虚拟服务器进行快速、有效地恢复，根据预先制订业务系统恢复步骤和开启次序进行操作；
网络切换阶段：网络层面切换关键针对灾难发生后业务访问进行快速、有效网络切换，确保用户能够正常访问到灾备中心业务系统；

2.3 灾备模式介绍
灾备模式关键分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。
双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同时复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。
热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同时复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。
暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，适用同城或异地灾备，该模式对应国家标准5级。
冷备模式：当主中心发生灾难时，手动切换到灾备中心；主中心向灾备中心定时复制或备份数据，数据丢失较大，适用同城或异地灾备，该模式对应国家标准4或3级。
24 集团一期灾备项目关键指标要求
集团现在一期计划针对中信股份信息披露系统和中信股份网站进行灾备项目标实施，经过项目标实施，形成一个灾备模式，下一步对更多关键应用进行灾备。依据应用系统访问需求，对灾备中心提出以下需求：
要求信息披露系统在2小时内实现业务系统全方面接管，包含系统开启、内部网络IP接管、应用开启，和辅助域名解析服务、TDS身份认证服务、VPN访问切换；同时要求信息披露系统数据丢失量小于4个小时；（RT0<2小时、RPO<4小时）
要求中信股份网站在半小时内恢复可访问，包含系统开启、域名切换；同时要求中信股份网站数据丢失量小于4个小时；（RT0<0.5小时、RPO<4小时
以上两个业务系统灾备需求适用4级国家灾备等级标准，采取冷备模式。
第3章 业务系统灾备建设方案
中企通信提供一个完整异地灾备处理方案：使用异地数据中心SmartCLOUD™vONE私有云服务和生产站点和灾备站点之间MPLS VPN网络连接服务来处理因为人为错误、技术故障、自然灾难、病毒木马和其它不可预知原因造成数据丢失和业务中止问题，同时提供一个快速恢复用户关键任务和业务数据方案。
该方案目标是为了保护集团数据免受灾难和虚拟服务器故障所带来丢失和损坏风险，在业务系统因灾难或故障引发生产站点不可用或数据丢失损坏时，灾备中心能够完全接管业务，而且灾备中心数据含有可恢复性和即时性。
3.1 方案设计思绪
1. 信息披露系统和股份门户网站采取主备模式来实现异地灾备；基于两个业务系统RTO/RPO要求，针对信息披露系统，采取冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采取冷备模式；生产站点发生灾难时，两个系统均需要进行手工切换；
2. 生产站点和灾备站点复制策略能够针对每台虚拟服务器（信息披露系统web服务器、HFM服务器和数据管理服务器）进行自定义，并提供vmware虚拟化架构下定时复制和增量复制功效，针对每次复制任务得实施结果要有日志统计功效，出现异常时含有报警提醒；
3. 股份门户网站web服务器内容经过网站后台进行统一公布；
4. 股份门户网站CMS服务器在灾备站点处于开启状态，使用文件定时同时（4小时/次）方法满足RPO要求；
5. 针对信息披露系统Oracle数据库，在灾备中心布署x86架构下Oracle数据库，经过自动化脚本方法实现灾备站点数据定时更新；
6. 针对股份门户SQL Server数据库，在灾备中心布署单机版SQL Server数据库服务器，经过自动化脚本方法实现灾备站点数据定时更新；
7. 针对TDS和DNS，在灾备站点虚拟服务器中，布署TDS节点，经过MPLS VPN内网同时用户数据；在DNS服务器上对信息披露系统域名进行A统计设定；
8. 有不一样恢复方案应对不一样灾难场景
3.2 灾备中心VM计划
灾备中心计划图：

灾备中心VM计划列表：
灾备中心VM计划
系统名称
服务器名称
操作系统
应用程序
生产站点IP
负载均衡IP
灾备站点IP
开启次序
信息披露系统
Web服务器
windows R2 （64位）
Foundation
172.20.17.65/
172.20.17.66
172.20.16.26
172.20.17.65

HFM服务器
windows R2 （64位）
HFM Bivison
172.20.17.55/
172.20.17.56

172.20.17.55

数据管理服务器
windows R2 （64位）
Bivison
172.20.17.58/
172.20.17.59

172.20.17.58

报表分析服务器
windows R2 （64位）
BIEE
172.20.17.60

172.20.17.60

Oracle服务器

Oracle 11g
172.20.21.28/29
172.20.21.26/27/30

172.20.21.30

中信股份门户
Web服务器
windows R2 （64位）
IIS 7.0
172.20.2.8/
172.20.2.9

CMS服务器
windows R2 （64位）
CMS
172.20.17.68/
172.20.17.69

数据库服务器
windows R2 （64位）
SQL Server
172.20.21.32/35、172.20.21.33/36、
172.20.21.34

TDS身份验证系统
TDS服务器
windows R2 （64位）
IBM Tivoli

待计划

域名解析系统
DNS服务器
windows R2 （64位）
MS DNS

10.200.1.1

vmware虚拟化管理平台
vCenter服务器
windows R2 （64位）
vCenter

待计划

veeam备份控制台
veeam备份控制台服务器
windows R2 （64位）
veeam backup manager

待计划

3.3 信息披露系统灾备设计
3.3.1 方案设计拓扑图

3.3.2 虚拟服务器层面
Ø 针对WEB服务器、HFM服务器和数据管理服务器，实现方法以下：
复制类型
复制步骤
阶段任务
首次复制
建立复制任务
•经过灾备站点Veeam Server建立复制任务
•选择需要复制VM，复制时段，vLAN/IP设置等
•复制任务配置（Metadata）将存放于Veeam Server上文件夹中
对生产站点VM进行快照
•Veeam经过VMware快照功效对生产站点VM实施快照
•快照存放于VM本身数据卷中（Datastore）
将生产站点VM复制到灾备站点
•将VM快照全部复制（Full）到灾备站点
•灾备站点VM将存放于指定数据卷中，并处于随时可开机状态
•当复制完成后，生产站点VM快照将自动删除
后续复制
对生产站点VM进行快照
•Veeam经过VMware快照功效对生产站点VM实施快照
•快照存放于VM本身数据卷中（Datastore
将生产站点数据增量复制到灾备站点
•将VM快照和灾备站点现有VM数据进行比对
•将数据增量复制到灾备站点，更新现有VM并形成一个新还原点
•当复制完成后，生产站点VM快照将自动删除

依据集团管理信息部对此次项目RTO/RPO要求，veeam复制频率设定为4小时/次，而且保留二十四小时以内还原点快照；

Ø 针对身份验证系统和域名解析系统，中企会在灾备站点布署一套处于开机状态TDS系统和DNS系统，其中，TDS系统作为集团身份验证系统一个Slave节点定时从TDSMaster节点获取更新数据；DNS系统IP地址和生产站点DNS系统IP地址保持一致，并将信息披露系统域名解析到172.20.17.65，以此确保灾备站点启用后，身份验证功效和域名解析功效处于可用状态。
3.3.3 Oracle数据库设计
针对生产站点Oracle服务器集群，设计以下：
在灾备中心布署x86架构下单机Oracle数据库，经过自动化脚本方法实现生产站点Oracle数据定时导出并定时传输到灾备站点Oracle服务器，在灾备站点Oracle服务器上实施定时导入；（中企通信会在此次项目中提供含有Oracle数据库导出、远程传输、定时导入功效脚本程序，检测脚本）
依据披露系统灾备等级，数据导出频率设定为4小时/次，在灾备站点Oracle服务器端保留二十四小时以内数据导出文件；
3.4 股份门户网站灾备设计
3.4.1 方案设计拓扑图

3.4.2 虚拟服务器层面
1. 针对WEB服务器，实现方法以下：
经过在股份门户网站后台上传功效模块中增加灾备站点地址，来达成WEB服务器数据同时目标；
2. 针对CMS服务器，实现方法以下：
在灾备站点单独一台虚拟服务器上布署股份门户CMS服务，配置不一样于生产站点CMSIP地址，经过自动化脚本方法实现生产站点和灾备站点两端CMS服务器数据每4小时同时一次；
3. 整体架构采取股份门户镜像站点布署方法，正常状态下WEB服务器经过MPLS VPN内网调用生产站点SQL Server数据库数据。

3.4.3 SQL Server数据库设计
针对生产站点SQL Server服务器集群，设计以下：
在灾备中心布署x86架构下单机SQL Server数据库，首先在生产站点SQL Server设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点SQL Server备份文件到灾备站点SQL Server服务器上，经过计划任务定时实施批处理文件方法进行备份文件定时恢复；（中企通信会在此次项目中提供含有SQL Server数据库定时备份、远程传输、定时导入功效批处理文件程序）
数据库服务器IP地址方面，配置不一样于生产站点SQL Server集群地址；当生产站点发生灾难、SQL Server集群服务失效时，中企通信后台运维人员将手工更改灾备站点SQL Server服务器IP地址为生产站点SQL Server集群IP地址，完成数据库服务切换。
依据股份门户灾备等级，数据导出频率设定为4小时/次，在灾备站点SQL Server服务器端保留二十四小时以内数据导出文件；

第4章 灾备网络概要设计
4.1 方案设计拓扑图

方案描述：
1. 针对此次集团管理信息部披露系统、中信股份门户网站灾备项目；集团管理信息部将采取现有网络设备完成。
2. 将灾备服务器布署在上海宝山机房，使其和集团管理信息部采取MPLS VPN（中信第二张网）互联，并在此网络上进行灾备数据传输和生产站点恢复运行后数据回传。
3. 中企在上海宝山机柜布署2台Cisco3945（依据带宽需求选择其Cisco3945，而且可满足未来带宽升级等改变）连接MPLS VPN网络，在Cisco3945经过BGP从PE接收抵达集团管理信息部内部网络路由。
4.2 集团管理信息部布署方法

1． 针对此次系统灾备项目，集团信息管理部将采取现有网络设备完成灾备数据转发，不增加硬件设备。
2． 集团管理信息部访问上海宝山灾备中心路由，由中企PE路由器经过BGP协议向集团管理信息部关键交换6509转发。
3． 集团管理信息部关键交换机6509将经过BGP协议收到上海宝山灾备中心路由，并将其转发到内网EIGRP网络
4． 在集团管理信息部内网布署Veeam代理服务器，此代理服务器将单独划分一个Vlan专用于数据备份，但此Vlan需要和vCenter通信
4.3 上海宝山机房布署方法

1． 上海宝山机房采取2台Cisco3945路由器连接MPLS VPN网络，带宽为20M，路由器分别下联2台DELL交换机，2台路由器为内网提供高可用服务。
2． 同时布署UTM安全设备连接互联网，带宽为20M，用于中信股份门户网站互联网接入。
3． 将布署2台物理服务器分别上联2台DELL交换机，将披露系统、中信股份门户网站、Veeam服务器布署在SmartCLOUD vONE私有云上，在交换机上为这3个系统分别创建3个独立Vlan，在Cisco3945路由器配置3个子接口用于对应不一样Vlan，并为每个Vlan提供网关功效。
4． 2台物理服务器分别下联DELL存放交换机，经过此存放交换机连接DELL存放设备。
5． 两台3945路由器上，需要布署少许静态NAT配置,原因是披露系统中Web服务器、HFM、数据管理服务器、Ocacle服务器要求IP地址不能变动，所以在做数据备份时需要在灾备中心CE路由器配置NAT转换，以使得完成路由可达性（具体说明见1.4.2），中信股份门户网站灾备IP地址能够改变，所以在备份过程中不需要针对此系统配置NAT。
6． 针对中信股份门户网站灾备上海灾备中心将重新布署IP网段为173.1.1.0/24，在UTM防火墙上将此内部IP映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心UTM公网IP地址，当灾难发生时可经过北龙中网设备将流量重定向到灾备中心门户网站系统。
7． 披露系统和TDS服务器属于同一个Vlan，中信股份门户网站属于另一个Vlan，Veeam服务器单独在另一个Vlan
4.4 灾备数据业务流向
4.4.1 Veeam灾备数据复制
集团管理信息部VM镜像可直接经过Veeam进行数据备份，Veeam备份任务是经过上海灾备中心Veeam服务器进行调度

Veeam备份和调度示意图
1. 在上海宝山灾备中心建立一个Veeam管理服务器，在集团管理信息部建立一个Veeam代理服务器。
2. 在上海灾备中心Veeam管理服务器中创建复制任务，任务经过MPLS网络调用北京Veeam 代理端协作复制任务 （蓝色线路）；
3. Veeam代理端和集团管理信息部vCenter进行授权连接，将生产站点VMware虚拟服务器快照文件经过MPLS VPN网络复制到上海灾备中心（红色线路）；
4. 集团管理信息部为Veeam代理服务器单独划分一个Vlan（具体Vlan可在实施阶段协调）和现有生产网络隔离，Veeam代理服务器和生产网络vCenter服务器实现路由可达；
5. 复制到灾备站点快照文件存放在SmartCLOUD vONE私有云存放中，并处于随时可开机开启状态；
6. 为灾备中心Veeam管理服务器划分一个单独vlan，该vlan ID和灾备中心vCenterVlan ID一致，使之和披露系统、中信股份门户网站灾备服务器相互隔离，

4.4.2 应用系统数据复制
生产中心oracle服务器和股份门户网站web服务器、CMS服务器和SQL Server数据库服务器不经过Veeam进行灾备复制，需要在应用系统层面进行定时数据同时。
因为信息披露web服务器、HFM服务器、数据管理服务器和Oracle数据库服务器不许可改变IP地址，所以需要在灾备中心CE路由器（Cisco 3945）上进行NAT（网络地址转换）配置，以达成两端对应服务器之间数据同时目标；
股份门户网站web服务器、CMS服务器和SQL Server服务器IP地址许可变更，而且这三台服务器数据定时同时模式基于应用层面来实现，所以，只需在MPLS VPN骨干网络上宣告对应服务器路由信息即可达成两端数据同时目标；

1. 北京生产中心Oracle服务器和披露系统和TDS（172.20.16.23）不能修改IP地址，所以在备份过程中需要在灾备中心Cisco3945上配置NAT转换；
2. 在Cisco3945上将披露系统Oracle服务器和TDS服务器IP地址映射为WAN口网段IP地址，北京生产网络在备份时目标地址为NAT转换后IP地址；
3. 股份门户网站三台服务器（web服务器、CMS服务器和SQL Server服务器）能够变更IP地址，所以在备份过程中不使用NAT直接备份，只需确保路由可达即可；
4. 灾备中心虚拟服务器之间数据交互，可直接在局域网内进行，各个虚拟服务器网关地址全部是Cisco3945对应子接口地址。
4.5 灾备切换场景及业务数据流向分析
4.5.1 正常情况下路由及数据流

1. 在生产中心正常工作情况下，集团两台6509关键交换机将经过BGP协议向中企PE路由器宣告灾备系统路由；
2 中企PE路由器收到这些BGP路由后，会将这些路由信息经过BGP协议在MPLS VPN网内传输，最终将传达成各子企业CE路由器（蓝色线路）；
3. 各子企业将经过集团广播关键区域路由进行寻址，经过中企MPLS VPN骨干网后，访问在集团关键区信息披露系统（红色线路）
4. 中信股份门户网站经过互联网进行访问；

4.5.2 灾备切换场景概述
4.5.2.1. 集团管理信息部整个业务系统故障

1. 集团生产站点发生灾难性故障，业务系统全部故障，且无法在短时间内恢复业务时，由集团工程师经过电话、邮件等方法向中企网络提议灾备切换需求。
2. 中企网络收到切换需求后，将第一时间安排云计算工程师帮助集团启用灾备中心虚拟服务器，并按要求修改系统设置（修改TDS系统IP地址/修改股份门户网站web服务器中数据库调用地址）。
3. 同时中企网络将安排网络工程师，修改灾备中心PE路由器配置，按计划将灾备系统相关业务系统主机路由信息（披露系统、股份门户网站、TDS服务器和DNS服务器）经过BGP协议广播到集团第二张MPLS VPN网内（紫色线路）。删除北京PE路由器相关生产电点业务系统网络路由
4. 集团及各子企业CE路由器将经过BGP协议接收到灾备中心网络路由，后续访问披露系统和股份门户网站数据包全部传输到上海灾备中心。
5. 当生产中心恢复正常后，