©2010-2026 宁波自信网络信息技术有限公司 版权所有
客服电话：0574-28810668 投诉电话：18658249818
浙ICP备2021020529号-1 | 浙B2-20240490
关注我们 ：
1、 VPLEX容灾系统实施方案 12月 目 录 1. 项目介绍 4 1.1 VPLEX架构图 4 1.2 本项目设备配置 4 2. 存放计划 5 2.1 计划目标 5 2.2 VPLEX端口使用 5 3. SAN网络计划 6 3.1 现有拓扑示意图 6 3.2 VPLEX实施拓扑示意图 7 3.3 设备IP计划 8 3.4 Zone计划 8 4. VPLEX WITNESS实施计划 10 5. 版本控制 11 5.1 ODM版本要求 11 5.2 PowerHA版本要求 11 5.3 P
2、owerpath版本要求 12 6. 和数据迁移相关VPLEX配置 13 6.1 应用系统数据迁移方法叙述 13 6.1.1 主机层面迁移 13 6.1.2 存放层面迁移 13 6.2 应用系统数据迁移实施步骤简述 13 6.2.1 主机层面在线数据迁移方法实施步骤简述 13 6.2.2 VPLEX层面离线数据转移方法实施步骤简述 14 6.2.3 应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述 15 7. VPLEX METRO实施步骤 15 7.1 VPLEX 前期准备 15 7.1.1 system volumes 15 7.1.2 met
3、a data volumes 15 7.1.3 logging volumes 16 7.2 Switch zoning 17 7.3 Backend storage provisionq 17 7.4 VPLEX initial setup 18 7.4.1 Config ip address and hostname of VPLEX 18 7.4.1.1 Connect to management server 18 7.4.1.2 entering the VPLEXCLI 18 7.4.1.3 set the management server ip address
4、18 7.4.1.4 change the hostname of VPLEX 18 7.4.1.5 check software version 19 7.4.2 use EZ-setup to initialize the VPLEX1 19 7.4.2.1 Start EZ-setup 19 7.4.2.2 Configure the first cluster 19 7.4.2.3 Chose the local authentication 19 7.4.2.4 Configure event notification 19 7.4.2.5 Configure sen
5、d system report to EMC 20 7.4.2.6 Configure performance statistics collector 20 7.4.2.7 Generate the certificate 20 7.4.2.8 Backend storage discovery 21 7.4.2.9 create meta-data volume 21 7.4.2.10 verify if meta-data volume is successfully created 22 7.4.2.11 create meta-data volume backups 22
6、 7.4.2.12 enable FE port 22 7.4.3 use EZ-setup to initialize the VPLEX2 22 7.4.3.1 Connect to VPLEX2 22 7.4.3.2 Sychronize the time on the clusters 22 7.4.3.3 Start EZ-setup on cluster2 23 7.4.3.4 Configure the Meta-data volume and backup of VPLEX2 23 7.4.3.5 Complete configuration of cluster
7、1 23 7.4.3.6 Complete configuration of cluster2 23 7.4.4 Join the clusters 23 7.4.5 Create logging volumes 24 7.5 Check the cluster health 25 7.6 VPLEX backend storage connectivity verify 25 7.7 Claim the data volume 25 8. 设备使用 28 8.1 Vplex使用 28 9. 系统测试 29 9.1 Vplex高可用测试 29 9.2 数据库高可用测试 3
8、0 1. 项目介绍 XXX灾备项目采取EMC VPLEX METRO处理方案，实现院区主机房和灾备机房容灾，结合实际情况本项目计划以下。 1.1 VPLEX架构图 1.2 本项目设备配置 此次计划EMCVPLEX配置简明描述以下： l 1个处理器引擎两个控制器，8个8GbFC前端口，8个8GbFC后端口 l 72GBCache l VPLEX METRO 20TB 此次计划EMC DS-300B SAN交换机配置简明描述以下： l 两台交换机，每台激活24个8Gb端口。 2. 存放计划 1 2 2.1 计划目标 HP 3PAR和IBM DS4800存放
9、使用VPLEXMETRO架构，而且满足VPLEX METRO双活处理方案计划以下。 2.2 VPLEX端口使用 本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张双口HBA卡用于连接VPLEX，每张卡使用一个端口，VPLEX后端口用于连接HP 3PAR和IBM DS4800。全部VPLEX端口使用以下表所表示： 命名规则 VPLEX端口命名规则：E1D0F0代表引擎1director AA0模块第0口 HP 3PAR端口命名规则：3PAR_A_F0代表控制器AFC第0口 Zone命名规则：VPLEXA_E1B2F2_3PAR_A
10、F0代表VPLEXA引擎1director BB2模块2口到3PAR控制器A第0光纤口zone vplex连接交换机端口 Engine No.1 DirctorNo.B DirctorNo.A FE SW BE SW WAN SW FE SW BE SW WAN SW B0F3 B1F3 B3F3 A0F3 A1F3 A3F3 B0F2 B1F2 B3F2 A0F2 A1F2 A3F2 B0F1 B1F1 B3F1 A0F1 A1F1 A3F1
11、B0F0 B1F0 B3F0 A0F0 A1F0 A3F0 注：此图为一台VPLEX端口连接图。 3. SAN网络计划 本项目使用主机房SAN交换机及新增两台DS-300B SAN交换机，vplex到一台交换机需要最少4个FE，4个BE，4个Wan com，每台存放最少需要4个端口。如情况许可，提议在生产机房搭建同机房vplex metro环境，便于下一步数据迁移。 在数据迁移完成后，灾备机房环境准备好后，把vplex metrocluster-2和DS4800搬运到灾备机房。此时生产机房和灾备机房vplex metro正常运行，不影响原有系统运行。
12、 1 2 3 3.1 现有拓扑示意图 3.2 VPLEX实施拓扑示意图 Vplex在生产中心运行 灾备中心准备好后vplex在生产中心和灾备中心运行 注：线只代表路径，不代表实际数量。 3.3 设备IP计划 光纤需求（满配最高带宽设计） From To 光纤数量（最少数量） 类型 VPLEX_A 生产中心SAN交换机 12条 多模 HP 3PAR 生产中心SAN交换机 4条 多模 VPLEX_B 灾备中心SAN交换机 12条 多模 IBM DS4800 灾备中心SAN交换机 4条 多模 网线需求 设
13、备名 网线数量 IP地址 备注 VPLEX_A 1 1个 生产机房VPLEX管理地址 VPLEX_B 1 1个 容灾机房VPLEX管理地址 DS-300B SAN 2 2 2个管理IP 注：IP需求由用户工程师计划 3.4 Zone计划 生产中心VPLEX和第一路SAN交换机端口连接 Port VPLEX port 备注 VPLEX_0001_E1D01F0 VPLEX_0001前端端口，连接主机HBA VPLEX_0001_E1D02F0 VPLEX_0001前端端口，连接主机HBA VPLEX_0001_E1D01B0
14、VPLEX_0001后端端口，连接后端存放系统前端端口 VPLEX_0001_E1D02B0 VPLEX_0001后端端口，连接后端存放系统前端端口 VPLEX_0001_E1D01W0 VPLEX_0001WAN端口 VPLEX_0001_E1D02W0 VPLEX_0001WAN端口 生产中心VPLEX和第二路SAN交换机端口连接 Port VPLEX port 备注 VPLEX_0001_E1D01F1 VPLEX_0001前端端口，连接主机HBA VPLEX_0001_E1D02F1 VPLEX_0001前端端口，连接主机HBA
15、 VPLEX_0001_E1D01B1 VPLEX_0001后端端口，连接后端存放系统前端端口 VPLEX_0001_E1D02B1 VPLEX_0001后端端口，连接后端存放系统前端端口 VPLEX_0001_E1D01W1 VPLEX_0001WAN端口 VPLEX_0001_E1D02W1 VPLEX_0001WAN端口 灾备中心VPLEX和第一路SAN交换机端口连接 Port VPLEX port 备注 VPLEX_0002_E1D01F0 VPLEX_0002前端端口，连接主机HBA VPLEX_0002_E1D02F0
16、 VPLEX_0002前端端口，连接主机HBA VPLEX_0002_E1D01B0 VPLEX_0002后端端口，连接后端存放系统前端端口 VPLEX_0002_E1D02B0 VPLEX_0002后端端口，连接后端存放系统前端端口 VPLEX_0002_E1D01W0 VPLEX_0002WAN端口 VPLEX_0002_E1D02W0 VPLEX_0002WAN端口 灾备中心VPLEX和第二路SAN交换机端口连接 Port VPLEX port 备注 VPLEX_0002_E1D01F1 VPLEX_0002前端端口，连接主机HB
17、A VPLEX_0002_E1D02F1 VPLEX_0002前端端口，连接主机HBA VPLEX_0002_E1D01B1 VPLEX_0002后端端口，连接后端存放系统前端端口 VPLEX_0002_E1D02B1 VPLEX_0002后端端口，连接后端存放系统前端端口 VPLEX_0002_E1D01W1 VPLEX_0002WAN端口 VPLEX_0002_E1D02W1 VPLEX_0002WAN端口 4. VPLEX Witness实施计划 4 VPLEX Witness是对VPLEX集群和集群间链路故障仲裁判定和管理机制。
18、假如认可VPLEX故障概率大大低于DWDM链路，能够考虑不使用仲裁机Witness。代价是假如生产VPLEX不可用，需要手工激活容灾VPLEX并重启生产端业务。 如有VPLEX Witness，则对生产端VPLEX故障有更完善容灾处理机制，此情况下无需手工重新激活灾备端VPLEX，业务可无缝继续维持运行。 若实施VPLEX Witness，需要以下需求： • 冗余DWDM链路 • Witness安装在区分于生产和灾备第三机房 • Witness和Vplex通讯，使用区分于DWDMIP链路 • 需要安装在VMware FT上面 同时，提议增加一条容灾链路（和现在链路不一样运
19、行商提供），确保整个双活架构稳定性，避免意外停机风险。而且Witness安装环境达成最好实践要求。 5. 版本控制 5 5.1 ODM版本要求 5.2 PowerHA版本要求 5.3 Powerpath版本要求 6. 和数据迁移相关VPLEX配置 1 2 3 4 5 6 6.1 应用系统数据迁移方法叙述 应用系统从传统存放系统迁移到VPLEX环境下，有两种方法能够考虑，第一个迁移方法为主机层面数据迁移方法，第二种迁移方法为VPLEX层面数据转移方法。 6.1.1 主机层面迁移 主机层面在线数据迁移方法通常采取LVM Mirror作为数据迁
20、移手段，将应用系统不中止（在线）地从传统存放系统上迁移到VPLEX环境中，不过VPLEX环境需要有足够存放空间，迁移步骤简述以下： 1) VPLEX分配存放空间给主机 2) 主机经过LVM Mirror方法将数据从传统存放系统上同时到VPLEX存放空间上 3) 主机释放传统存放系统空间 6.1.2 存放层面迁移 VPLEX层面离线数据转移方法将应用系统从传统存放系统上转移到VPLEX环境中，在转移期间，应用系统需要停止运行，迁移步骤简述以下： 1) 应用系统停止运行 2) 存放系统回收应用系统使用存放空间，然后将其分配给VPLEX 3) VPLEX将存放空间进行“封装”后创建分
21、布式LUN分配给主机 4) 恢复应用系统运行 6.2 应用系统数据迁移实施步骤简述 6.2.1 主机层面在线数据迁移方法实施步骤简述 1) 在主机上，安装支持VPLEXEMC ODM软件 2) 在SAN Switch上，增加主机和VPLEX前端端口之间ZONE 3) 在VPLEX上，将磁盘设备分配给主机 4) 在主机上，识别VPLEX磁盘设备，并将其加入到对应VG中 5) 在主机上，经过LVM Mirror将数据迁移到VPLEX使用磁盘空间上 6) 在主机上，将DS4800磁盘设备从VG中分离出来 7) 在unisphere上，回收主机释放出来磁盘设备 8) （可选）在S
22、AN Switch上，删除主机和DS4800前端端口之间ZONE 9) 在unisphere上DS4800将回收磁盘空间分配给VPLEX 10) 在VPLEX上，将DS4800磁盘设备“封装”成VPLEX磁盘设备 安装支持VPLEXEMC ODM软件 # uncompress EMC.AIX.5.3.0.5.tar.Z # tar -xvf EMC.AIX.5.3.0.5.tar # installp -ac -gX -d . EMC.Invista.aix.rte # installp -ac -gX -d . EMC.Invista.fcp.rte # installp
23、 -ac -gX -d . EMC.Symmetrix.aix.rte ；假如已经安装，则忽略 # installp -ac -gX -d . EMC.Symmetrix.fcp.rte ；假如已经安装，则忽略 安装EMC PowerPath软件 假如主机没有安装PowerPath软件，请参考“PowerPath for AIX Installation and Administration Guide.pdf”，安装和配置PowerPath软件。 SAN Switch上增加主机和VPLEX前端端口之间ZONE 在SAN Switch上，创建主机HBA和VPLEX前端端口
24、之间ZONE。 VPLEX分配磁盘空间给主机 依据应用系统所使用磁盘设备数量和大小，在VPLEX上创建对应数量和大小Distributed Device（由来自于HP 3PAR和DS4800磁盘设备组合成RAID 1类型），而且创建包含这些Distributed DeviceConsistency Group，然后分配给主机。 主机识别和配置VPLEX磁盘设备 1) 运行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgr–v”命令，识别和配置VPLEX磁盘设备 2) 确定已经正确识别和配置VPLEX磁盘设备 # lsdev -Cc disk ...
25、 hdisk2 Available 2V-08-01 EMC INVISTA FCP Disk hdisk3 Available 2K-08-01 EMC INVISTA FCP Disk 3) 运行“powermtconfig”命令，配置PowerPath设备，而且确定VPLEX磁盘设备policy是Adaptive 在主机上经过LVM Mirror将数据同时到VPLEX磁盘设备上 系统管理员经过LVM Mirror，将数据同时到VPLEX磁盘设备上 在主机上将旧磁盘设备清除，保留VPLEX磁盘设备 系统管理员将旧存放系统磁盘设备清除，保留VPLEX磁盘设备 回收旧
26、磁盘设备 在unisphere上，回收之前分配给主机使用DS4800磁盘设备，然后重新分配给VPLEX。 6.2.2 VPLEX层面离线数据转移方法实施步骤简述 在VPLEX环境中，对后端存放系统磁盘设备采取整盘封装方法下，能够将应用系统完整迁移到VPLEX环境中。 1) 在主机上，停止应用系统运行 2) 在主机上，删除对应后端存放系统磁盘设备 3) 在主机上，安装支持VPLEXEMC ODM软件 4) 在后端存放系统上，取消主机对磁盘设备访问 5) （可选）在SAN Switch上，删除主机HBA和后端存放系统前端之间ZONE 6) 在SAN Switch上，增加V
27、PLEX后端端口和后端存放系统前端之间ZONE 7) 在SAN Switch上，增加主机HBA和VPLEX前端端口之间ZONE 8) 在后端存放系统上，给予VPLEX对磁盘设备访问 9) 在VPLEX上，对后端存放系统磁盘设备进行整盘封装，和增加镜像操作 10) 在VPLEX上，将封装后VPLEX磁盘设备分配给主机 11) 在主机上，识别和配置VPLEX磁盘设备 12) 在主机上，开启应用系统 6.2.3 应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述 在用户环境中，VPLEX对后端存放系统磁盘设备采取整盘封装方法，所以，应用系统能够回退到传统直接访
28、问后端存放系统磁盘设备工作方法。 1) 主机删除对应VPLEX磁盘设备 2) VPLEX上删除对应Storage View，取消主机对VPLEX磁盘设备访问 3) （可选）在SAN Switch上删除主机HBA和VPLEX前端之间ZONE 4) （可选）在SAN Switch上删除VPLEX后端和后端存放系统前端之间ZONE 5) 在后端存放系统上取消VPLEX对后端后端存放系统磁盘设备访问 6) 在SAN Switch上增加主机HBA和后端存放系统前端之间ZONE 7) 在后端存放系统上分配磁盘设备给主机 8) 主机识别后端存放系统磁盘设备，开启应用系统 9) 在VPLEX
29、上，清除后端存放系统磁盘设备配置信息 7. VPLEX Metro实施步骤 1 2 3 4 5 6 7 7.1 VPLEX 前期准备 7.1.1 system volumes VPLEXsystem volumes分为两种：metadata volumes 和 logging volumes 7.1.2 meta data volumes meta data volumes里包含VPLEX cluster系统配置信息，关键为： l virtual-to-physical mapping information l data about the devices an
30、d virtual volumes l system configuration settings Meta data volume提议为Raid1或Raid5保护卷，其对I/O性能要求不高。 每个VPLEX Metro cluster安装需要4个78GBvolume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume. Cluster Meta Volume Storage RAID Group LUN ID RAID Size 备注
31、 VPLEX_0001 Mirror 1 800 RAID5 78GB Backup 1 801 RAID5 78GB 和HP 3PAR系统共享磁盘 Mirror 2 800 RAID5 78GB Backup 2 801 RAID5 78GB 和HP 3PAR系统共享磁盘 VPLEX_0002 Mirror 1 900 RAID5 78GB Backup 1 901 RAID5 78GB 和DS4800系统共享磁盘 Mirror 2 900 RAID5 78G
32、B Backup 2 901 RAID5 78GB 和DS4800系统共享磁盘 7.1.3 logging volumes Loggging volume用于在inter-link断开时，统计Site之间数据差异索引。提议logging volumes为10GBvolume，10GBlogging volume通常能够支持约320TB分布式卷。 Cluster Log Volume Storage RAID Group LUN ID RAID Size 备注 VPLEX_0001 Mirror 1 802 RAID5 10GB
33、和HP 3PAR系统共享磁盘 Mirror 2 802 RAID5 10GB 和HP 3PAR系统共享磁盘 VPLEX_0002 Mirror 1 902 RAID5 10GB 和DS4800系统共享磁盘 Mirror 2 902 RAID5 10GB 和DS4800系统共享磁盘 7.2 Switch zoning 根据计划完成VPLEX backend zoning 7.3 Backend storage provisionq Register VPLEX BE port on HP3PAR Assign volume t
34、o VPLEX 7.4 VPLEX initial setup 7.4.1 Configip address and hostname of VPLEX 7.4.1.1 Connect to management server connectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.<23-30> Default user/password :service/Mi@Di
35、m7T Service port IP: 128.221.252.2 SSH client: SecureCRT or PUTTY 7.4.1.2 entering the VPLEXCLI 7.4.1.3 set the management server ipaddress 7.4.1.4 change the hostname of VPLEX 7.4.1.5 check software version 7.4.2 use EZ-setup to initialize the VPLEX1 7.4.2.1 Start EZ-setup 7.4.
36、2.2 Configure the first cluster 7.4.2.3 Chose the local authentication 7.4.2.4 Configure event notification 7.4.2.5 Configure send system report to EMC 7.4.2.6 Configure performance statistics collector 7.4.2.7 Generate the certificate 7.4.2.8 Backend storage discovery 1)
37、display eligible meta data volumes 7.4.2.9 create meta-data volume 7.4.2.10 verify if meta-data volume is successfully created 7.4.2.11 create meta-data volume backups 7.4.2.12 enable FE port 7.4.3 use EZ-setup to initialize the VPLEX2 7.4.3.1 Connect to VPLEX2 Use SSH to connec
38、t to management IP of cluster 2, 7.4.3.2 Sychronize the time on the clusters 7.4.3.3 Start EZ-setup on cluster2 7.4.3.4 Configure the Meta-data volume and backup of VPLEX2 Use the same method to configure the VPLEX2 meta-data volumes and backups 7.4.3.5 Complete configuration of cluster1
39、 7.4.3.6 Complete configuration of cluster2 7.4.4 Join the clusters From Vplexcli on cluster2 console, run the following command, 7.4.5 Create logging volumes 7.5 Check the cluster health 7.6 VPLEX backend storage connectivity verify 7.7 Claim the data volume l check if VPLEX ca
40、n see the backend arrays VPlexcli:/>ls -al /clusters/cluster-1/storage-elements/storage-arrays/ /clusters/cluster-1/storage-elements/storage-arrays: Name Connectivity Auto Ports Logical --------------------------- Status Switch --------------
41、 Unit --------------------------- ------------ ------ ------------------- Count --------------------------- ------------ ------ ------------------- ------- EMC-CLARiiON-FNM ok true 0x19f5, 252 0x19f5,
42、 0x19f5, 0x5006016f446019f5 l check backend volumes VPlexcli:/>ls –al /clusters/cluster-1/storage-elements/storage-volumes/ /clusters/cluster-1/storage-elements/storage-volumes/: Name VPD83 ID
43、Capacity Use Vendor IO Status Type Thin Rebuild ---- -------- -------- --- ------ ---------- ----- ----------- VPD83T3:60060d4991c2f7d50e011 VPD83T3:60060d4991c2f7d50e011 5G unclaimed DGC alive traditional false l if can not see the volumes, use
44、command to re-discover VPlexcli:/>cd /clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM VPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM/>array re-discover WARNING: This command cannot detect LUN-swapping conditions on the array(s) being re-discove
45、red. LUN swapping is the swapping of LUNs on the back-end. This command cannot detect LUN swapping conditions when the number of LUNs remains the same, but the underlying actual logical units change. I/O will not be disrupted on the LUNS that do not change. Continue? (Yes/No) y l claim the data
46、 volumes Claim by use parameter “--appc” to ensure application consistency, because we have data on one leg of the mirror. VPlexcli:/>storage-volume claim -d VPD83T3:60060d4991c2f7d50e011 -n lun_1 --appc This can be confirmed by checking the Type of the storage-volume which should display as da
47、ta-protected. VPlexcli:/>ls –al /clusters/cluster-1/storage-elements/storage-volumes/ Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild ---- -------- -------- --- ------ --------- ----- ----------- lun_1 VPD83T3:60060d4991c2f7d5
48、0e011 5G used DGC alive data-protected false 8. 设备使用 8 8.1 Vplex使用 使用英文版Web browser: Firefox v3.5.5 or v3.5.7, or Internet Explorer 7（安装Adobe Flash Player 10.0.0 or higher插件）输入https://设备管理IP 9. 系统测试 9 9.1 Vplex高可用测试 a) 测试场景一：主机一个光纤卡故障
49、测试步骤 预期结果 · 用powermtdisplay dev=all检验设备和路径情况 · 打开iometer对lun进行写操作 · 关闭一台服务器HBA卡 · 再次用powermtdisplay dev=all检验设备和路径情况 powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。 b) 测试场景二： VPLEX一个Director故障 测试步骤 预期结果 · 用powermtdisplay dev=all检验设备和路径情况 · 打开iometer对lun进行写操作 · 在putty连接vplex后director-
50、1-1-b:/opt/zephyr/bin # /sbin/shutdown -h now · 再次用powermtdisplay dev=all检验设备和路径情况 powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。 c) 测试场景三： VPLEX后端存放一个控制器故障 测试步骤 预期结果 · 用powermtdisplay dev=all检验设备和路径情况 · 打开iometer对lun进行写操作 · 拔掉director a上和交换机连接光纤 · 再次用powermtdisplay dev=all检验设备和路径情况
©2010-2026 宁波自信网络信息技术有限公司 版权所有
客服电话：0574-28810668 投诉电话：18658249818
浙ICP备2021020529号-1 | 浙B2-20240490
关注我们 ：
