EMCVPLEX容灾系统实施专项方案.docx

VPLEX容灾系统实施方案12月目录1.项目介绍41.1VPLEX架构图41.2本项目设备配置42.存放计划52.1计划目标52.2VPLEX端口使用53.SAN网络计划63.1现有拓扑示意图63.2VPLEX实施拓扑示意图73.3设备IP计划83.4Zone计划84.VPLEX WITNESS实施计划105.版本控制115.1ODM版本要求115.2PowerHA版本要求115.3Powerpath版本要求126.和数据迁移相关VPLEX配置136.1应用系统数据迁移方法叙述136.1.1主机层面迁移136.1.2存放层面迁移136.2应用系统数据迁移实施步骤简述136.2.1主机层面在线数据迁移方法实施步骤简述136.2.2VPLEX层面离线数据转移方法实施步骤简述146.2.3应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述157.VPLEX METRO实施步骤157.1VPLEX 前期准备157.1.1system volumes157.1.2meta data volumes157.1.3logging volumes167.2Switch zoning177.3Backend storage provisionq177.4VPLEX initial setup187.4.1Config ip address and hostname of VPLEX187.4.1.1Connect to management server187.4.1.2entering the VPLEXCLI187.4.1.3set the management server ip address187.4.1.4change the hostname of VPLEX187.4.1.5check software version197.4.2use EZ-setup to initialize the VPLEX1197.4.2.1Start EZ-setup197.4.2.2Configure the first cluster197.4.2.3Chose the local authentication197.4.2.4Configure event notification197.4.2.5Configure send system report to EMC207.4.2.6Configure performance statistics collector207.4.2.7Generate the certificate207.4.2.8Backend storage discovery217.4.2.9create meta-data volume217.4.2.10verify if meta-data volume is successfully created227.4.2.11create meta-data volume backups227.4.2.12enable FE port227.4.3use EZ-setup to initialize the VPLEX2227.4.3.1Connect to VPLEX2227.4.3.2Sychronize the time on the clusters227.4.3.3Start EZ-setup on cluster2237.4.3.4Configure the Meta-data volume and backup of VPLEX2237.4.3.5Complete configuration of cluster1237.4.3.6Complete configuration of cluster2237.4.4Join the clusters237.4.5Create logging volumes247.5Check the cluster health257.6VPLEX backend storage connectivity verify257.7Claim the data volume258.设备使用288.1Vplex使用289.系统测试299.1Vplex高可用测试299.2数据库高可用测试301. 项目介绍XXX灾备项目采取EMC VPLEX METRO处理方案，实现院区主机房和灾备机房容灾，结合实际情况本项目计划以下。1.1 VPLEX架构图1.2 本项目设备配置此次计划EMCVPLEX配置简明描述以下：l 1个处理器引擎两个控制器，8个8GbFC前端口，8个8GbFC后端口l 72GBCachel VPLEX METRO 20TB此次计划EMC DS-300B SAN交换机配置简明描述以下：l 两台交换机，每台激活24个8Gb端口。2. 存放计划122.1 计划目标HP 3PAR和IBM DS4800存放使用VPLEXMETRO架构，而且满足VPLEX METRO双活处理方案计划以下。2.2 VPLEX端口使用本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张双口HBA卡用于连接VPLEX，每张卡使用一个端口，VPLEX后端口用于连接HP 3PAR和IBM DS4800。全部VPLEX端口使用以下表所表示：命名规则VPLEX端口命名规则：E1D0F0代表引擎1director AA0模块第0口HP 3PAR端口命名规则：3PAR_A_F0代表控制器AFC第0口Zone命名规则：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA引擎1director BB2模块2口到3PAR控制器A第0光纤口zonevplex连接交换机端口Engine No.1DirctorNo.BDirctorNo.AFESWBESWWANSWFESWBESWWANSWB0F3B1F3B3F3A0F3A1F3A3F3B0F2B1F2B3F2A0F2A1F2A3F2B0F1B1F1B3F1A0F1A1F1A3F1B0F0B1F0B3F0A0F0A1F0A3F0注：此图为一台VPLEX端口连接图。3. SAN网络计划本项目使用主机房SAN交换机及新增两台DS-300B SAN交换机，vplex到一台交换机需要最少4个FE，4个BE，4个Wan com，每台存放最少需要4个端口。如情况许可，提议在生产机房搭建同机房vplex metro环境，便于下一步数据迁移。在数据迁移完成后，灾备机房环境准备好后，把vplex metrocluster-2和DS4800搬运到灾备机房。此时生产机房和灾备机房vplex metro正常运行，不影响原有系统运行。1233.1 现有拓扑示意图3.2 VPLEX实施拓扑示意图Vplex在生产中心运行灾备中心准备好后vplex在生产中心和灾备中心运行注：线只代表路径，不代表实际数量。3.3 设备IP计划光纤需求（满配最高带宽设计）FromTo光纤数量（最少数量）类型VPLEX_A生产中心SAN交换机12条多模HP 3PAR生产中心SAN交换机4条多模VPLEX_B灾备中心SAN交换机12条多模IBM DS4800灾备中心SAN交换机4条多模网线需求设备名网线数量IP地址 备注VPLEX_A11个生产机房VPLEX管理地址VPLEX_B11个容灾机房VPLEX管理地址DS-300B SAN222个管理IP 注：IP需求由用户工程师计划3.4 Zone计划生产中心VPLEX和第一路SAN交换机端口连接PortVPLEX port备注VPLEX_0001_E1D01F0VPLEX_0001前端端口，连接主机HBAVPLEX_0001_E1D02F0VPLEX_0001前端端口，连接主机HBAVPLEX_0001_E1D01B0VPLEX_0001后端端口，连接后端存放系统前端端口VPLEX_0001_E1D02B0VPLEX_0001后端端口，连接后端存放系统前端端口VPLEX_0001_E1D01W0VPLEX_0001WAN端口VPLEX_0001_E1D02W0VPLEX_0001WAN端口生产中心VPLEX和第二路SAN交换机端口连接PortVPLEX port备注VPLEX_0001_E1D01F1VPLEX_0001前端端口，连接主机HBAVPLEX_0001_E1D02F1VPLEX_0001前端端口，连接主机HBAVPLEX_0001_E1D01B1VPLEX_0001后端端口，连接后端存放系统前端端口VPLEX_0001_E1D02B1VPLEX_0001后端端口，连接后端存放系统前端端口VPLEX_0001_E1D01W1VPLEX_0001WAN端口VPLEX_0001_E1D02W1VPLEX_0001WAN端口灾备中心VPLEX和第一路SAN交换机端口连接PortVPLEX port备注VPLEX_0002_E1D01F0VPLEX_0002前端端口，连接主机HBAVPLEX_0002_E1D02F0VPLEX_0002前端端口，连接主机HBAVPLEX_0002_E1D01B0VPLEX_0002后端端口，连接后端存放系统前端端口VPLEX_0002_E1D02B0VPLEX_0002后端端口，连接后端存放系统前端端口VPLEX_0002_E1D01W0VPLEX_0002WAN端口VPLEX_0002_E1D02W0VPLEX_0002WAN端口灾备中心VPLEX和第二路SAN交换机端口连接PortVPLEX port备注VPLEX_0002_E1D01F1VPLEX_0002前端端口，连接主机HBAVPLEX_0002_E1D02F1VPLEX_0002前端端口，连接主机HBAVPLEX_0002_E1D01B1VPLEX_0002后端端口，连接后端存放系统前端端口VPLEX_0002_E1D02B1VPLEX_0002后端端口，连接后端存放系统前端端口VPLEX_0002_E1D01W1VPLEX_0002WAN端口VPLEX_0002_E1D02W1VPLEX_0002WAN端口4. VPLEX Witness实施计划4VPLEX Witness是对VPLEX集群和集群间链路故障仲裁判定和管理机制。假如认可VPLEX故障概率大大低于DWDM链路，能够考虑不使用仲裁机Witness。代价是假如生产VPLEX不可用，需要手工激活容灾VPLEX并重启生产端业务。如有VPLEX Witness，则对生产端VPLEX故障有更完善容灾处理机制，此情况下无需手工重新激活灾备端VPLEX，业务可无缝继续维持运行。若实施VPLEX Witness，需要以下需求： 冗余DWDM链路 Witness安装在区分于生产和灾备第三机房 Witness和Vplex通讯，使用区分于DWDMIP链路 需要安装在VMware FT上面同时，提议增加一条容灾链路（和现在链路不一样运行商提供），确保整个双活架构稳定性，避免意外停机风险。而且Witness安装环境达成最好实践要求。5. 版本控制55.1 ODM版本要求5.2 PowerHA版本要求5.3 Powerpath版本要求6. 和数据迁移相关VPLEX配置1234566.1 应用系统数据迁移方法叙述应用系统从传统存放系统迁移到VPLEX环境下，有两种方法能够考虑，第一个迁移方法为主机层面数据迁移方法，第二种迁移方法为VPLEX层面数据转移方法。6.1.1 主机层面迁移主机层面在线数据迁移方法通常采取LVM Mirror作为数据迁移手段，将应用系统不中止（在线）地从传统存放系统上迁移到VPLEX环境中，不过VPLEX环境需要有足够存放空间，迁移步骤简述以下：1) VPLEX分配存放空间给主机2) 主机经过LVM Mirror方法将数据从传统存放系统上同时到VPLEX存放空间上3) 主机释放传统存放系统空间6.1.2 存放层面迁移VPLEX层面离线数据转移方法将应用系统从传统存放系统上转移到VPLEX环境中，在转移期间，应用系统需要停止运行，迁移步骤简述以下：1) 应用系统停止运行2) 存放系统回收应用系统使用存放空间，然后将其分配给VPLEX3) VPLEX将存放空间进行“封装”后创建分布式LUN分配给主机4) 恢复应用系统运行6.2 应用系统数据迁移实施步骤简述6.2.1 主机层面在线数据迁移方法实施步骤简述1) 在主机上，安装支持VPLEXEMC ODM软件2) 在SAN Switch上，增加主机和VPLEX前端端口之间ZONE3) 在VPLEX上，将磁盘设备分配给主机4) 在主机上，识别VPLEX磁盘设备，并将其加入到对应VG中5) 在主机上，经过LVM Mirror将数据迁移到VPLEX使用磁盘空间上6) 在主机上，将DS4800磁盘设备从VG中分离出来7) 在unisphere上，回收主机释放出来磁盘设备8) （可选）在SAN Switch上，删除主机和DS4800前端端口之间ZONE9) 在unisphere上DS4800将回收磁盘空间分配给VPLEX10) 在VPLEX上，将DS4800磁盘设备“封装”成VPLEX磁盘设备安装支持VPLEXEMC ODM软件# uncompress EMC.AIX.5.3.0.5.tar.Z# tar -xvf EMC.AIX.5.3.0.5.tar# installp -ac -gX -d . EMC.Invista.aix.rte# installp -ac -gX -d . EMC.Invista.fcp.rte# installp -ac -gX -d . EMC.Symmetrix.aix.rte；假如已经安装，则忽略# installp -ac -gX -d . EMC.Symmetrix.fcp.rte；假如已经安装，则忽略安装EMC PowerPath软件假如主机没有安装PowerPath软件，请参考“PowerPath for AIX Installation and Administration Guide.pdf”，安装和配置PowerPath软件。SAN Switch上增加主机和VPLEX前端端口之间ZONE在SAN Switch上，创建主机HBA和VPLEX前端端口之间ZONE。VPLEX分配磁盘空间给主机依据应用系统所使用磁盘设备数量和大小，在VPLEX上创建对应数量和大小Distributed Device（由来自于HP 3PAR和DS4800磁盘设备组合成RAID 1类型），而且创建包含这些Distributed DeviceConsistency Group，然后分配给主机。主机识别和配置VPLEX磁盘设备1) 运行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgrv”命令，识别和配置VPLEX磁盘设备2) 确定已经正确识别和配置VPLEX磁盘设备# lsdev -Cc disk.hdisk2 Available 2V-08-01 EMC INVISTA FCP Diskhdisk3 Available 2K-08-01 EMC INVISTA FCP Disk3) 运行“powermtconfig”命令，配置PowerPath设备，而且确定VPLEX磁盘设备policy是Adaptive在主机上经过LVM Mirror将数据同时到VPLEX磁盘设备上系统管理员经过LVM Mirror，将数据同时到VPLEX磁盘设备上在主机上将旧磁盘设备清除，保留VPLEX磁盘设备系统管理员将旧存放系统磁盘设备清除，保留VPLEX磁盘设备回收旧磁盘设备在unisphere上，回收之前分配给主机使用DS4800磁盘设备，然后重新分配给VPLEX。6.2.2 VPLEX层面离线数据转移方法实施步骤简述在VPLEX环境中，对后端存放系统磁盘设备采取整盘封装方法下，能够将应用系统完整迁移到VPLEX环境中。1) 在主机上，停止应用系统运行2) 在主机上，删除对应后端存放系统磁盘设备3) 在主机上，安装支持VPLEXEMC ODM软件4) 在后端存放系统上，取消主机对磁盘设备访问5) （可选）在SAN Switch上，删除主机HBA和后端存放系统前端之间ZONE6) 在SAN Switch上，增加VPLEX后端端口和后端存放系统前端之间ZONE7) 在SAN Switch上，增加主机HBA和VPLEX前端端口之间ZONE8) 在后端存放系统上，给予VPLEX对磁盘设备访问9) 在VPLEX上，对后端存放系统磁盘设备进行整盘封装，和增加镜像操作10) 在VPLEX上，将封装后VPLEX磁盘设备分配给主机11) 在主机上，识别和配置VPLEX磁盘设备12) 在主机上，开启应用系统6.2.3 应用系统从VPLEX-Metro回退到DS4800存放系统实施步骤简述在用户环境中，VPLEX对后端存放系统磁盘设备采取整盘封装方法，所以，应用系统能够回退到传统直接访问后端存放系统磁盘设备工作方法。1) 主机删除对应VPLEX磁盘设备2) VPLEX上删除对应Storage View，取消主机对VPLEX磁盘设备访问3) （可选）在SAN Switch上删除主机HBA和VPLEX前端之间ZONE4) （可选）在SAN Switch上删除VPLEX后端和后端存放系统前端之间ZONE5) 在后端存放系统上取消VPLEX对后端后端存放系统磁盘设备访问6) 在SAN Switch上增加主机HBA和后端存放系统前端之间ZONE7) 在后端存放系统上分配磁盘设备给主机8) 主机识别后端存放系统磁盘设备，开启应用系统9) 在VPLEX上，清除后端存放系统磁盘设备配置信息7. VPLEX Metro实施步骤12345677.1 VPLEX 前期准备7.1.1 system volumesVPLEXsystem volumes分为两种：metadata volumes 和 logging volumes7.1.2 meta data volumesmeta data volumes里包含VPLEX cluster系统配置信息，关键为：l virtual-to-physical mapping informationl data about the devices and virtual volumesl system configuration settingsMeta data volume提议为Raid1或Raid5保护卷，其对I/O性能要求不高。每个VPLEX Metro cluster安装需要4个78GBvolume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume.ClusterMeta VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_0001Mirror 1800RAID578GBBackup 1801RAID578GB和HP 3PAR系统共享磁盘Mirror 2800RAID578GBBackup 2801RAID578GB和HP 3PAR系统共享磁盘VPLEX_0002Mirror 1900RAID578GBBackup 1901RAID578GB和DS4800系统共享磁盘Mirror 2900RAID578GBBackup 2901RAID578GB和DS4800系统共享磁盘7.1.3 logging volumesLoggging volume用于在inter-link断开时，统计Site之间数据差异索引。提议logging volumes为10GBvolume，10GBlogging volume通常能够支持约320TB分布式卷。ClusterLog VolumeStorageRAID GroupLUN IDRAIDSize备注VPLEX_0001Mirror 1802RAID510GB和HP 3PAR系统共享磁盘Mirror 2802RAID510GB和HP 3PAR系统共享磁盘VPLEX_0002Mirror 1902RAID510GB和DS4800系统共享磁盘Mirror 2902RAID510GB和DS4800系统共享磁盘7.2 Switch zoning根据计划完成VPLEX backend zoning7.3 Backend storage provisionqRegister VPLEX BE port on HP3PARAssign volume to VPLEX7.4 VPLEX initial setup7.4.1 Configip address and hostname of VPLEX7.4.1.1 Connect to management serverconnectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.Default user/password :service/MiDim7TService port IP: 128.221.252.2SSH client: SecureCRT or PUTTY7.4.1.2 entering the VPLEXCLI7.4.1.3 set the management server ipaddress7.4.1.4 change the hostname of VPLEX7.4.1.5 check software version7.4.2 use EZ-setup to initialize the VPLEX17.4.2.1 Start EZ-setup7.4.2.2 Configure the first cluster7.4.2.3 Chose the local authentication7.4.2.4 Configure event notification7.4.2.5 Configure send system report to EMC7.4.2.6 Configure performance statistics collector7.4.2.7 Generate the certificate7.4.2.8 Backend storage discovery1) display eligible meta data volumes7.4.2.9 create meta-data volume7.4.2.10 verify if meta-data volume is successfully created7.4.2.11 create meta-data volume backups7.4.2.12 enable FE port7.4.3 use EZ-setup to initialize the VPLEX27.4.3.1 Connect to VPLEX2Use SSH to connect to management IP of cluster 2, 7.4.3.2 Sychronize the time on the clusters7.4.3.3 Start EZ-setup on cluster27.4.3.4 Configure the Meta-data volume and backup of VPLEX2Use the same method to configure the VPLEX2 meta-data volumes and backups7.4.3.5 Complete configuration of cluster17.4.3.6 Complete configuration of cluster27.4.4 Join the clustersFrom Vplexcli on cluster2 console, run the following command,7.4.5 Create logging volumes7.5 Check the cluster health7.6 VPLEX backend storage connectivity verify7.7 Claim the data volumel check if VPLEX can see the backend arraysVPlexcli:/ls -al /clusters/cluster-1/storage-elements/storage-arrays/clusters/cluster-1/storage-elements/storage-arrays:Name Connectivity Auto Ports Logical- Status Switch - Unit- - - - Count- - - - -EMC-CLARiiON-FNM ok true 0x19f5, 252 0x19f5, 0x19f5, 0x5006016f446019f5l check backend volumesVPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/clusters/cluster-1/storage-elements/storage-volumes/:Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - - VPD83T3:60060d4991c2f7d50e011 VPD83T3:60060d4991c2f7d50e011 5G unclaimed DGC alive traditional falsel if can not see the volumes, use command to re-discoverVPlexcli:/cd /clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNMVPlexcli:/clusters/cluster-1/storage-elements/storage-arrays/EMC-CLARiiON-FNM/array re-discoverWARNING: This command cannot detect LUN-swapping conditions on the array(s) being re-discovered. LUN swapping is the swapping of LUNs on the back-end. This command cannot detect LUN swapping conditions when the number of LUNs remains the same, but the underlying actual logical units change. I/O will not be disrupted on the LUNS that do not change. Continue? (Yes/No) yl claim the data volumesClaim by use parameter “-appc” to ensure application consistency, because we have data on one leg of the mirror.VPlexcli:/storage-volume claim -d VPD83T3:60060d4991c2f7d50e011 -n lun_1 -appcThis can be confirmed by checking the Type of the storage-volume which should display as data-protected.VPlexcli:/ls al /clusters/cluster-1/storage-elements/storage-volumes/Name VPD83 ID Capacity Use Vendor IO Status Type Thin Rebuild- - - - - - - -lun_1 VPD83T3:60060d4991c2f7d50e011 5G used DGC alive data-protected false8. 设备使用88.1 Vplex使用使用英文版Web browser: Firefox v3.5.5 or v3.5.7, or Internet Explorer 7（安装Adobe Flash Player 10.0.0 or higher插件）输入https:/设备管理IP9. 系统测试99.1 Vplex高可用测试a) 测试场景一：主机一个光纤卡故障测试步骤预期结果 用powermtdisplay dev=all检验设备和路径情况 打开iometer对lun进行写操作 关闭一台服务器HBA卡 再次用powermtdisplay dev=all检验设备和路径情况powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。b) 测试场景二： VPLEX一个Director故障测试步骤预期结果 用powermtdisplay dev=all检验设备和路径情况 打开iometer对lun进行写操作 在putty连接vplex后director-1-1-b:/opt/zephyr/bin # /sbin/shutdown -h now 再次用powermtdisplay dev=all检验设备和路径情况powermt输出中hdiskpower#两个通道上全部有IO流量，且IO总流量比较靠近。c) 测试场景三： VPLEX后端存放一个控制器故障测试步骤预期结果 用powermtdisplay dev=all检验设备和路径情况 打开iometer对lun进行写操作 拔掉director a上和交换机连接光纤 再次用powermtdisplay dev=all检验设备和路径情况