EMCVPLEX容灾系统实施专项方案.docx

VPLEX容灾系统实施方案

12月

目 录
1. 项目介绍 4
1.1 VPLEX架构图 4
1.2 本项目设备配置 4
2. 存放计划 5
2.1 计划目标 5
2.2 VPLEX端口使用 5
3. SAN网络计划 6
3.1 现有拓扑示意图 6
3.2 VPLEX实施拓扑示意图 7
3.3 设备IP计划 8
3.4 Zone计划 8
4. VPLEX WITNESS实施计划 10
5. 版本控制 11
5.1 ODM版本要求 11
5.2 PowerHA版本要求 11
5.3 Powerpath版本要求 12
6. 和数据迁移相关VPLEX配置 13
6.1 应用系统数据迁移方法叙述 13
6.1.1 主机层面迁移 13
6.1.2 存放层面迁移 13
6.2 应用系统数据迁移实施步骤简述 13
6.2.1 主机层面在线数据迁移方法实施步骤简述 13
6.2.2 VPLEX层面离线数据转移方法实施步骤简述 14
6.2.3 应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述 15
7. VPLEX METRO实施步骤 15
7.1 VPLEX 前期准备 15
7.1.1 system volumes 15
7.1.2 meta data volumes 15
7.1.3 logging volumes 16
7.2 Switch zoning 17
7.3 Backend storage provisionq 17
7.4 VPLEX initial setup 18
7.4.1 Config ip address and hostname of VPLEX 18
7.4.1.1 Connect to management server 18
7.4.1.2 entering the VPLEXCLI 18
7.4.1.3 set the management server ip address 18
7.4.1.4 change the hostname of VPLEX 18
7.4.1.5 check software version 19
7.4.2 use EZ-setup to initialize the VPLEX1 19
7.4.2.1 Start EZ-setup 19
7.4.2.2 Configure the first cluster 19
7.4.2.3 Chose the local authentication 19
7.4.2.4 Configure event notification 19
7.4.2.5 Configure send system report to EMC 20
7.4.2.6 Configure performance statistics collector 20
7.4.2.7 Generate the certificate 20
7.4.2.8 Backend storage discovery 21
7.4.2.9 create meta-data volume 21
7.4.2.10 verify if meta-data volume is successfully created 22
7.4.2.11 create meta-data volume backups 22
7.4.2.12 enable FE port 22
7.4.3 use EZ-setup to initialize the VPLEX2 22
7.4.3.1 Connect to VPLEX2 22
7.4.3.2 Sychronize the time on the clusters 22
7.4.3.3 Start EZ-setup on cluster2 23
7.4.3.4 Configure the Meta-data volume and backup of VPLEX2 23
7.4.3.5 Complete configuration of cluster1 23
7.4.3.6 Complete configuration of cluster2 23
7.4.4 Join the clusters 23
7.4.5 Create logging volumes 24
7.5 Check the cluster health 25
7.6 VPLEX backend storage connectivity verify 25
7.7 Claim the data volume 25
8. 设备使用 28
8.1 Vplex使用 28
9. 系统测试 29
9.1 Vplex高可用测试 29
9.2 数据库高可用测试 30

1. 项目介绍
XXX灾备项目采取EMC VPLEX METRO处理方案，实现院区主机房和灾备机房容灾，结合实际情况本项目计划以下。
1.1 VPLEX架构图

1.2 本项目设备配置
此次计划EMCVPLEX配置简明描述以下：
l 1个处理器引擎两个控制器，8个8GbFC前端口，8个8GbFC后端口
l 72GBCache
l VPLEX METRO 20TB
此次计划EMC DS-300B SAN交换机配置简明描述以下：
l 两台交换机，每台激活24个8Gb端口。

2. 存放计划
1
2
2.1 计划目标
HP 3PAR和IBM DS4800存放使用VPLEXMETRO架构，而且满足VPLEX METRO双活处理方案计划以下。

2.2 VPLEX端口使用
本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张双口HBA卡用于连接VPLEX，每张卡使用一个端口，VPLEX后端口用于连接HP 3PAR和IBM DS4800。全部VPLEX端口使用以下表所表示：

命名规则
VPLEX端口命名规则：E1D0F0代表引擎1director AA0模块第0口
HP 3PAR端口命名规则：3PAR_A_F0代表控制器AFC第0口
Zone命名规则：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA引擎1director BB2模块2口到3PAR控制器A第0光纤口zone
vplex连接交换机端口
Engine No.1
DirctorNo.B

DirctorNo.A
FE
SW
BE
SW
WAN
SW
FE
SW
BE
SW
WAN
SW
B0F3

B1F3

B3F3

A0F3

A1F3

A3F3

B0F2

B1F2

B3F2

A0F2

A1F2

A3F2

B0F1

B1F1

B3F1

A0F1

A1F1

A3F1

B0F0

B1F0

B3F0

A0F0

A1F0

A3F0

注：此图为一台VPLEX端口连接图。
3. SAN网络计划
本项目使用主机房SAN交换机及新增两台DS-300B SAN交换机，vplex到一台交换机需要最少4个FE，4个BE，4个Wan com，每台存放最少需要4个端口。如情况许可，提议在生产机房搭建同机房vplex metro环境，便于下一步数据迁移。
在数据迁移完成后，灾备机房环境准备好后，把vplex metrocluster-2和DS4800搬运到灾备机房。此时生产机房和灾备机房vplex metro正常运行，不影响原有系统运行。
1
2
3
3.1 现有拓扑示意图

3.2 VPLEX实施拓扑示意图
Vplex在生产中心运行

灾备中心准备好后vplex在生产中心和灾备中心运行

注：线只代表路径，不代表实际数量。

3.3 设备IP计划
光纤需求（满配最高带宽设计）
From
To
光纤数量（最少数量）
类型
VPLEX_A
生产中心SAN交换机
12条
多模
HP 3PAR
生产中心SAN交换机
4条
多模
VPLEX_B
灾备中心SAN交换机
12条
多模
IBM DS4800
灾备中心SAN交换机
4条
多模
网线需求
设备名
网线数量
IP地址
备注
VPLEX_A
1
1个
生产机房VPLEX管理地址
VPLEX_B
1
1个
容灾机房VPLEX管理地址
DS-300B SAN
2
2
2个管理IP
注：IP需求由用户工程师计划
3.4 Zone计划
生产中心VPLEX和第一路SAN交换机端口连接
Port
VPLEX port
备注

VPLEX_0001_E1D01F0
VPLEX_0001前端端口，连接主机HBA

VPLEX_0001_E1D02F0
VPLEX_0001前端端口，连接主机HBA

VPLEX_0001_E1D01B0
VPLEX_0001后端端口，连接后端存放系统前端端口

VPLEX_0001_E1D02B0
VPLEX_0001后端端口，连接后端存放系统前端端口

VPLEX_0001_E1D01W0
VPLEX_0001WAN端口

VPLEX_0001_E1D02W0
VPLEX_0001WAN端口

生产中心VPLEX和第二路SAN交换机端口连接
Port
VPLEX port
备注

VPLEX_0001_E1D01F1
VPLEX_0001前端端口，连接主机HBA

VPLEX_0001_E1D02F1
VPLEX_0001前端端口，连接主机HBA

VPLEX_0001_E1D01B1
VPLEX_0001后端端口，连接后端存放系统前端端口

VPLEX_0001_E1D02B1
VPLEX_0001后端端口，连接后端存放系统前端端口

VPLEX_0001_E1D01W1
VPLEX_0001WAN端口

VPLEX_0001_E1D02W1
VPLEX_0001WAN端口

灾备中心VPLEX和第一路SAN交换机端口连接
Port
VPLEX port
备注

VPLEX_0002_E1D01F0
VPLEX_0002前端端口，连接主机HBA

VPLEX_0002_E1D02F0
VPLEX_0002前端端口，连接主机HBA

VPLEX_0002_E1D01B0
VPLEX_0002后端端口，连接后端存放系统前端端口

VPLEX_0002_E1D02B0
VPLEX_0002后端端口，连接后端存放系统前端端口

VPLEX_0002_E1D01W0
VPLEX_0002WAN端口

VPLEX_0002_E1D02W0
VPLEX_0002WAN端口

灾备中心VPLEX和第二路SAN交换机端口连接
Port
VPLEX port
备注

VPLEX_0002_E1D01F1
VPLEX_0002前端端口，连接主机HBA

VPLEX_0002_E1D02F1
VPLEX_0002前端端口，连接主机HBA

VPLEX_0002_E1D01B1
VPLEX_0002后端端口，连接后端存放系统前端端口

VPLEX_0002_E1D02B1
VPLEX_0002后端端口，连接后端存放系统前端端口

VPLEX_0002_E1D01W1
VPLEX_0002WAN端口

VPLEX_0002_E1D02W1
VPLEX_0002WAN端口

4. VPLEX Witness实施计划
4
VPLEX Witness是对VPLEX集群和集群间链路故障仲裁判定和管理机制。假如认可VPLEX故障概率大大低于DWDM链路，能够考虑不使用仲裁机Witness。代价是假如生产VPLEX不可用，需要手工激活容灾VPLEX并重启生产端业务。
如有VPLEX Witness，则对生产端VPLEX故障有更完善容灾处理机制，此情况下无需手工重新激活灾备端VPLEX，业务可无缝继续维持运行。

若实施VPLEX Witness，需要以下需求：
• 冗余DWDM链路
• Witness安装在区分于生产和灾备第三机房
• Witness和Vplex通讯，使用区分于DWDMIP链路
• 需要安装在VMware FT上面
同时，提议增加一条容灾链路（和现在链路不一样运行商提供），确保整个双活架构稳定性，避免意外停机风险。而且Witness安装环境达成最好实践要求。

5. 版本控制
5
5.1 ODM版本要求

5.2 PowerHA版本要求

5.3 Powerpath版本要求

6. 和数据迁移相关VPLEX配置
1
2
3
4
5
6
6.1 应用系统数据迁移方法叙述
应用系统从传统存放系统迁移到VPLEX环境下，有两种方法能够考虑，第一个迁移方法为主机层面数据迁移方法，第二种迁移方法为VPLEX层面数据转移方法。
6.1.1 主机层面迁移
主机层面在线数据迁移方法通常采取LVM Mirror作为数据迁移手段，将应用系统不中止（在线）地从传统存放系统上迁移到VPLEX环境中，不过VPLEX环境需要有足够存放空间，迁移步骤简述以下：
1) VPLEX分配存放空间给主机
2) 主机经过LVM Mirror方法将数据从传统存放系统上同时到VPLEX存放空间上
3) 主机释放传统存放系统空间
6.1.2 存放层面迁移
VPLEX层面离线数据转移方法将应用系统从传统存放系统上转移到VPLEX环境中，在转移期间，应用系统需要停止运行，迁移步骤简述以下：
1) 应用系统停止运行
2) 存放系统回收应用系统使用存放空间，然后将其分配给VPLEX
3) VPLEX将存放空间进行“封装”后创建分布式LUN分配给主机
4) 恢复应用系统运行
6.2 应用系统数据迁移实施步骤简述
6.2.1 主机层面在线数据迁移方法实施步骤简述
1) 在主机上，安装支持VPLEXEMC ODM软件
2) 在SAN Switch上，增加主机和VPLEX前端端口之间ZONE
3) 在VPLEX上，将磁盘设备分配给主机
4) 在主机上，识别VPLEX磁盘设备，并将其加入到对应VG中
5) 在主机上，经过LVM Mirror将数据迁移到VPLEX使用磁盘空间上
6) 在主机上，将DS4800磁盘设备从VG中分离出来
7) 在unisphere上，回收主机释放出来磁盘设备
8) （可选）在SAN Switch上，删除主机和DS4800前端端口之间ZONE
9) 在unisphere上DS4800将回收磁盘空间分配给VPLEX
10) 在VPLEX上，将DS4800磁盘设备“封装”成VPLEX磁盘设备

安装支持VPLEXEMC ODM软件
# uncompress EMC.AIX.5.3.0.5.tar.Z
# tar -xvf EMC.AIX.5.3.0.5.tar
# installp -ac -gX -d . EMC.Invista.aix.rte
# installp -ac -gX -d . EMC.Invista.fcp.rte
# installp -ac -gX -d . EMC.Symmetrix.aix.rte ；假如已经安装，则忽略
# installp -ac -gX -d . EMC.Symmetrix.fcp.rte ；假如已经安装，则忽略

安装EMC PowerPath软件
假如主机没有安装PowerPath软件，请参考“PowerPath for AIX Installation and Administration Guide.pdf”，安装和配置PowerPath软件。

SAN Switch上增加主机和VPLEX前端端口之间ZONE
在SAN Switch上，创建主机HBA和VPLEX前端端口之间ZONE。

VPLEX分配磁盘空间给主机
依据应用系统所使用磁盘设备数量和大小，在VPLEX上创建对应数量和大小Distributed Device（由来自于HP 3PAR和DS4800磁盘设备组合成RAID 1类型），而且创建包含这些Distributed DeviceConsistency Group，然后分配给主机。

主机识别和配置VPLEX磁盘设备
1) 运行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgr–v”命令，识别和配置VPLEX磁盘设备
2) 确定已经正确识别和配置VPLEX磁盘设备
# lsdev -Cc disk
...
hdisk2 Available 2V-08-01 EMC INVISTA FCP Disk
hdisk3 Available 2K-08-01 EMC INVISTA FCP Disk
3) 运行“powermtconfig”命令，配置PowerPath设备，而且确定VPLEX磁盘设备policy是Adaptive

在主机上经过LVM Mirror将数据同时到VPLEX磁盘设备上
系统管理员经过LVM Mirror，将数据同时到VPLEX磁盘设备上

在主机上将旧磁盘设备清除，保留VPLEX磁盘设备
系统管理员将旧存放系统磁盘设备清除，保留VPLEX磁盘设备

回收旧磁盘设备
在unisphere上，回收之前分配给主机使用DS4800磁盘设备，然后重新分配给VPLEX。

6.2.2 VPLEX层面离线数据转移方法实施步骤简述
在VPLEX环境中，对后端存放系统磁盘设备采取整盘封装方法下，能够将应用系统完整迁移到VPLEX环境中。
1) 在主机上，停止应用系统运行
2) 在主机上，删除对应后端存放系统磁盘设备
3) 在主机上，安装支持VPLEXEMC ODM软件
4) 在后端存放系统上，取消主机对磁盘设备访问
5) （可选）在SAN Switch上，删除主机HBA和后端存放系统前端之间ZONE
6) 在SAN Switch上，增加VPLEX后端端口和后端存放系统前端之间ZONE
7) 在SAN Switch上，增加主机HBA和VPLEX前端端口之间ZONE
8) 在后端存放系统上，给予VPLEX对磁盘设备访问
9) 在VPLEX上，对后端存放系统磁盘设备进行整盘封装，和增加镜像操作
10) 在VPLEX上，将封装后VPLEX磁盘设备分配给主机
11) 在主机上，识别和配置VPLEX磁盘设备
12) 在主机上，开启应用系统

6.2.3 应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述
在用户环境中，VPLEX对后端存放系统磁盘设备采取整盘封装方法，所以，应用系统能够回退到传统直接访问后端存放系统磁盘设备工作方法。
1) 主机删除对应VPLEX磁盘设备
2) VPLEX上删除对应Storage View，取消主机对VPLEX磁盘设备访问
3) （可选）在SAN Switch上删除主机HBA和VPLEX前端之间ZONE
4) （可选）在SAN Switch上删除VPLEX后端和后端存放系统前端之间ZONE
5) 在后端存放系统上取消VPLEX对后端后端存放系统磁盘设备访问
6) 在SAN Switch上增加主机HBA和后端存放系统前端之间ZONE
7) 在后端存放系统上分配磁盘设备给主机
8) 主机识别后端存放系统磁盘设备，开启应用系统
9) 在VPLEX上，清除后端存放系统磁盘设备配置信息
7. VPLEX Metro实施步骤
1
2
3
4
5
6
7
7.1 VPLEX 前期准备
7.1.1 system volumes
VPLEXsystem volumes分为两种：metadata volumes 和 logging volumes
7.1.2 meta data volumes
meta data volumes里包含VPLEX cluster系统配置信息，关键为：
l virtual-to-physical mapping information
l data about the devices and virtual volumes
l system configuration settings
Meta data volume提议为Raid1或Raid5保护卷，其对I/O性能要求不高。
每个VPLEX Metro cluster安装需要4个78GBvolume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume.
Cluster
Meta Volume
Storage
RAID Group
LUN ID
RAID
Size
备注
VPLEX_0001
Mirror 1

800
RAID5
78GB

Backup 1

801
RAID5
78GB
和HP 3PAR系统共享磁盘
Mirror 2

800
RAID5
78GB

Backup 2

801
RAID5
78GB
和HP 3PAR系统共享磁盘
VPLEX_0002
Mirror 1

900
RAID5
78GB

Backup 1

901
RAID5
78GB
和DS4800系统共享磁盘
Mirror 2

900
RAID5
78GB

Backup 2

901
RAID5
78GB
和DS4800系统共享磁盘

7.1.3 logging volumes
Loggging volume用于在inter-link断开时，统计Site之间数据差异索引。提议logging volumes为10GBvolume，10GBlogging volume通常能够支持约320TB分布式卷。
Cluster
Log Volume
Storage
RAID Group
LUN ID
RAID
Size
备注
VPLEX_0001
Mirror 1

802
RAID5
10GB
和HP 3PAR系统共享磁盘
Mirror 2

802
RAID5
10GB
和HP 3PAR系统共享磁盘
VPLEX_0002
Mirror 1

902
RAID5
10GB
和DS4800系统共享磁盘
Mirror 2

902
RAID5
10GB
和DS4800系统共享磁盘

7.2 Switch zoning
根据计划完成VPLEX backend zoning
7.3 Backend storage provisionq
Register VPLEX BE port on HP3PAR
Assign volume to VPLEX
7.4 VPLEX initial setup
7.4.1 Configip address and hostname of VPLEX
7.4.1.1 Connect to management server
connectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.<23-30>
Default user/password :service/Mi@Dim7T
Service port IP: 128.221.252.2
SSH client: SecureCRT or PUTTY

7.4.1.2 entering the VPLEXCLI

7.4.1.3 set the management server ipaddress

7.4.1.4 change the hostname of VPLEX

7.4.1.5 check software version

7.4.2 use EZ-setup to initialize the VPLEX1
7.4.2.1 Start EZ-setup

7.4.2.2 Configure the first cluster

7.4.2.3 Chose the local authentication

7.4.2.4 Configure event notification

7.4.2.5 Configure send system report to EMC

7.4.2.6 Configure performance statistics collector

7.4.2.7 Generate the certificate

7.4.2.8 Backend storage discovery

1) display eligible meta data volumes

7.4.2.9 create meta-data volume

7.4.2.10 verify if meta-data volume is successfully created

7.4.2.11 create meta-data volume backups

7.4.2.12 enable FE port

7.4.3 use EZ-setup to initialize the VPLEX2
7.4.3.1 Connect to VPLEX2
Use SSH to connect to management IP of cluster 2,
7.4.3.2 Sychronize the time on the clusters

7.4.3.3 Start EZ-setup on cluster2

7.4.3.4 Configure the Meta-data volume and backup of VPLEX2
Use the same method to configure the VPLEX2 meta-data volumes and backups

7.4.3.5 Complete configuration of cluster1

7.4.3.6 Complete configuration of cluster2

7.4.4 Join the clusters
From Vplexcli on cluster2 console, run the following command,

7.4.5 Create logging volumes

7.5 Check the cluster health

7.6 VPLEX backend storage connectivity verify

7.7 Claim the data volume
l check if VPLEX can see the backend arrays
VPlexcli:/>ls -al /clusters/cluster-1/storage-elements/storage-arrays/

/clusters/cluster-1/storage-elements/storage-arrays:
Name Connectivity Auto Ports Logical
--------------------------- Status Switch ------------------- Unit
--------------------------- ------------ ------ ------------------- Count
--------------------------- ------------ ------ ------------------- -------
EMC-CLARiiON-FNM ok true 0x19f5, 252
0x19f5,
0x19f5,
0x5006016f446019f5

l check backend volumes
VPlexcli:/>ls –al /clusters/cluster-1/storage-elements/storage-volumes/

/clusters/cluster-1/storage-elements/storage-volumes/:
Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild
---- -------- -------- --- ------ ---------- ----- -----------

VPD83T3:60060d4991c2f7d50e011 VPD83T3:60060d4991c2f7d50e011 5G unclaimed DGC alive traditional false

l if can not see the volumes, use command to re-discover
VPlexcli:/>cd /clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM

VPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM/>array re-discover
WARNING: This command cannot detect LUN-swapping conditions on the array(s) being re-discovered. LUN swapping is the swapping of LUNs on the back-end. This command cannot detect LUN swapping conditions when the number of LUNs remains the same, but the underlying actual logical units change. I/O will not be disrupted on the LUNS that do not change. Continue? (Yes/No) y

l claim the data volumes
Claim by use parameter “--appc” to ensure application consistency, because we have data on one leg of the mirror.

VPlexcli:/>storage-volume claim -d VPD83T3:60060d4991c2f7d50e011 -n lun_1 --appc
This can be confirmed by checking the Type of the storage-volume which should display as data-protected.
VPlexcli:/>ls –al /clusters/cluster-1/storage-elements/storage-volumes/

Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild
---- -------- -------- --- ------ --------- ----- -----------

lun_1 VPD83T3:60060d4991c2f7d50e011 5G used DGC alive data-protected false

8. 设备使用
8
8.1 Vplex使用
使用英文版Web browser: Firefox v3.5.5 or v3.5.7, or Internet Explorer 7（安装Adobe Flash Player 10.0.0 or higher插件）输入https://设备管理IP

9. 系统测试
9
9.1 Vplex高可用测试
a) 测试场景一：主机一个光纤卡故障
测试步骤
预期结果
· 用powermtdisplay dev=all检验设备和路径情况
· 打开iometer对lun进行写操作
· 关闭一台服务器HBA卡
· 再次用powermtdisplay dev=all检验设备和路径情况

powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。

b) 测试场景二： VPLEX一个Director故障

测试步骤
预期结果
· 用powermtdisplay dev=all检验设备和路径情况
· 打开iometer对lun进行写操作
· 在putty连接vplex后director-1-1-b:/opt/zephyr/bin # /sbin/shutdown -h now
· 再次用powermtdisplay dev=all检验设备和路径情况

powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。

c) 测试场景三： VPLEX后端存放一个控制器故障

测试步骤
预期结果
· 用powermtdisplay dev=all检验设备和路径情况
· 打开iometer对lun进行写操作
· 拔掉director a上和交换机连接光纤
· 再次用powermtdisplay dev=all检验设备和路径情况