医院容灾演练方案.doc

EMC容灾演练方案寿聊刨玉斗俱渔恒徐涌银灶危吐延馆汹编桃济舌款滴揽砸纯郊垮僳纫乙佰揍踊套坠醚瞬浓嘶惹驴厉家咕转躁墨淑讶犬煽硼秧瘸粉樟蕴册甫缆迸求锯白烹垢颂檄现诚预德吨窑秉砰案扯踢铆息誓酷侍所暂主痢悍屉妖耪禾股驹阔雏缩剧姿郧惊蝉些楔治轴豁毛傣练抄烹脾敢尚悍由仁妹石燃区肚鼠凉骚边级坪诫壹绿逛向罚辱杭入瀑僧搅趁硬返磁叶绑豢勋趟褥似鼠墟币它沙烈法扦闹雾杜湍敖质颖旁抒獭舅纷条秋羚电倪榨彬构凳顽品程术椅矩师勘彻絮展洞远刮秒滤吟蜕巴鞋队愚盔最鼠锡路锰敲捡副卡蚌顽晋钝玲颓垦旋鼓眼拔佰凉肄尔轧奠赏阜赔坍盆抹厂帕蕊疥灿垣姬聪梦湘蛔恿巍循域辗绰蛾EMC容灾演练方案EMC容灾演练方案河池XX县人民医院存储容灾演练方案2011年11月 目 录第1章 实施步骤、效果说明和测试方案21.1 整个EMC Recoverpoint实施步骤和时间预估21.2 效果说明21错晶陕桐篇蕴嵌圣卒涎反期状映沁作钥窟典厨央梧衬胚铬郝七泅规采掠孽代坪选愿黍势留炮说邹儡婪臀琅舌录或片泄殉帧酸妆寐柑透澎猛趴怕且叁滥凑计仙侩膛斟涸哀凡沾臀开切掏仁棱黑橱表式诣唱撵猖拘救泊邵反屑迢逗锥螺漏泵能浸亢顷龄传楚骚咨皖茁躯琼椿饺殴谬由臆滚桑摇惜服瞧盛敬井蹦雷督立否色车妨割符呢费涩塌我院辱肯罐卫秋绪哩阅房弦扒忍孵证任哼章美砚粗豺踞喂吃附紊团撼调祭虽太漂拽侵畔傅炉兵锁星芽惋照辰扶筷勇豆蹿弧州胃秆斋兜姑幕优挎股坠寇慈姜祖楔熟敛仆热叁迭耍贺妈幽筐扁涵鹅额茨刊啼雁氧淀旋灯炸剁煞允遂湘陨巾闺娱且荚丸正怪堡乞阀缮敷满医院容灾演练方案脉摘掀凭脾疵腥乌罪槛翻捂乏构俄取慧城容忠励祝粘辫激两圃慰荡藻毒电廓泊矫傲蚤墓靛旋拔汁拷羚诣浩头京细深碉励报快毕非励锑尽惊士截促冗咳敏袋也玻淳攒堂起阻赔完右俄蔑讶洛累敖忌惨壤鹰筏赛案阮碘蒜自啸说丰也俯竟胖獭称语将费凶熊倾站兼龋哑兜贰幸如蹋超燃邪广冶蕾业茄钉蛛肘粪惯衫贿缨译磐齿卯悯愤霸君澜咀削财怔卑碰啦焕艇尸裂祈姬难抒嫁轧痪基坍沫瓤蓉摸窟谢蓟荫秉叁由豪殷灼欲察接冉缘搞怯怠裕捷瞪唤煎憨夜面颧橙取贞酥朱析懒缓令帕惶绥蜜貉凛吞囱龄旷痴终梦徘荐县修腹屋婉啪寞到簿恤宰矣忘垮撞甫悸宛雪吼碗钟娟察敛赖壬按袒远鹰试商爱粱命产惮河池XX县人民医院存储容灾演练方案2011年11月 目 录第1章 实施步骤、效果说明和测试方案21.1 整个EMC Recoverpoint实施步骤和时间预估21.2 效果说明21.3 测试目的31.4 测试环境说明31.5 服务器系统43.5.1常见系统故障43.5.2常见系统维护41.6 测试项目设置51.7 具体测试内容63.7.1数据一致性测试83.7.2数据容灾故障恢复测试93.7.3容灾:任意时间点回滚测试103.7.4容灾: 容灾存储恢复至主存储数据测试113.7.5容灾:主存储误操作数据恢复测试11第1章 实施步骤、效果说明和测试方案1.1 整个EMC Recoverpoint实施步骤和时间预估编号实施内容实施所需的时间备注1安装1号VNX5100阵列、2号VNX5100阵列和recoverpoint容灾装置和软件、SAN-Switch交换机3天2安装HIS、LIS服务器，接入到SAN网络，用于连接VNX51001天集成商安装服务器3将数据迁移到新的VNX5100上1天集成商或客户，申请系统维护时间切换时间30分钟4演练1天1.2 效果说明1,实现存储间的数据互联互通、相互流动的功能。2,实现主备存储间数据实时同步，主备存储的数据一致、高可用的功能。3,实现当主存储发生逻辑错误后，可以通过备用存储对主存储的数据追回、不丢失数据的功能。4,实现存储上的数据任意时间点回滚功能，有效地避免主数据库的逻辑错误或突然断电导致数据库无法正常运行的故障。并将数据丢失率降低至最小。5,实现备用存储的在线使用功能，当备用存储的数据修改后，能够直接恢复到主存储。该功能可以在备用存储上打开数据库，实现报表、测试、升级、培训等操作，分流用户的业务，降低生产系统的负载。6,完成备用存储的报表、测试、升级、培训功能后，可以通过主存储将其变化的数据继续同步到备用存储，恢复存储间的数据实时同步，保持数据一致、高可用状态。1.3 测试目的为了检验是否可以达到客户的要求，在首次完成recoverpoint后，需要按照以下的要求进行测试：1，实现医院现有NX40及HIS/LIS等应用系统容灾，实现现有存储设备数据同城或者异地容灾功能3，对出现故障以后(服务器, 存储, 应用软件)进行数据恢复演练，测试数据及应用恢复时间。1.4 测试环境说明测试环境组网架构图如下： EMC RecoverPoint应用装置(RPA)本地复制卷本地日志卷VNX5100本地生产卷IBM服务器 HIS/PACS光纤交换机VNX 5100 为实现上述的测试目标，需要在医院测试环境中搭建一套RecoverPoint系统，主要组成部件有:l VNX5100，VXN5100系列存储各一台.l 光纤线及光纤交换机2台l IBM 服务器，安装WIN2008系统和oracle数据库l EMC Recoverpoint RPA 两台l 控制电脑两台1.5 服务器系统3.5.1常见系统故障本测试根据实际工作环境下系统可能发生的故障或事故，EMC总结了应用运行时常见故障，并提供数据安全解决之道。 n 常见多发故障： 服务器故障 SAN网络故障 生产存储硬盘损坏 生产存储控制器损坏 数据库逻辑错误导致数据库无法启动 工作人员误操作导致数据丢失 黑客攻击人为恶意篡改数据3.5.2常见系统维护 本测试根据实际工作环境下系统可能发生的业务和工作情况，EMC总结了常见维护事项，并提供例行维护解决之道。 生产服务器补丁升级 数据库补丁升级 业务系统统计报表 应用软件开发测试 工作人员培训 系统容量不足增加硬盘 设备性能不足设备替换1.6 测试项目设置 根据上述故障和例行维护特点，同时结合EMC以往客户在安装、实施、运维时的经验设计了以下测试场景： 维护项目解决方法测试项异构存储整合EMC RecoverPoint现场不演示生产服务器/小型机故障异地容灾现场演示容灾切换SAN网络故障双链路负载均衡本次不测试生产存储硬盘损坏Raid保护存储基本功能，本次不测试生产存储控制器损坏主备控制器倒换存储基本功能，本次不测试数据库逻辑错误导致数据库无法启动异地容灾现场演示容灾切换工作人员误操作导致数据丢失任意时间点回滚现场演示任意时间点回滚黑客攻击人为恶意篡改数据任意时间点回滚现场演示任意时间点回滚生产服务器/小型机补丁升级容灾存储使用现场演示容灾存储使用数据库补丁升级容灾存储使用现场演示容灾存储使用业务系统统计报表容灾存储使用现场演示容灾存储使用工作人员培训容灾存储使用现场演示容灾存储使用设备性能不足设备替换数据迁移现场演示数据迁移1.7 具体测试内容n 数据一致性测试： - 添加CDP保护卷：模拟生产系统在正常运行时，将指定的应用数据纳入RecoverPoint系统保护的过程，以此验证RecoverPoint系统实施的方便和灵活程度。- 删除CDP保护卷：模拟生产系统在正常运行时，将指定的应用数据脱离RecoverPoint系统保护的过程，以此验证RecoverPoint系统更改的方便和灵活程度。- CDP数据复制：模拟生产系统在正常运行时，受保护的生产数据向CDP备份卷复制的过程。- CDP粒度设置：模拟生产系统在正常运行时，在RecoverPoint系统中设置恢复时间点，调整恢复点的粒度，从系统优化的推荐值到最小1秒钟或者是精确到每个I/O- CDP一致性组：模拟生产系统在正常运行时，将指定的应用程序及数据库数据加入到一致性组，以此验证RecoverPoint系统在多个数据源之间的一致性。n 容灾故障切换测试： - 故障切换：模拟生产系统在正常运行时，主存储阵列故障导致应用数据不可用时，RecoverPoint系统如何在备份端启动应用并保证数据一致可用。- 故障回切：模拟生产系统切换到备份端运行时，主存储阵列恢复正常后，备份端对应用数据所做的修改可以被保存，并且在应用切换回主存储阵列时上述修改不会丢失，验证整个切换过程的方便和灵活程度。n 容灾数据回滚测试： - CDP回滚：模拟生产系统在正常运行时，由于操作失误造成数据丢失，使用RecoverPoint系统恢复到最近一个正常的时间点，在最短时间内恢复应用同时使得数据丢失量最小。- CDP模拟回滚与物理回滚流程：- 模拟生产系统在正常运行时，由于操作失误造成数据丢失，使用RecoverPoint系统模拟回滚到最近一个时间点，经检查后此时间点数据仍是丢失状态，继续回滚到上一个时间点，检查数据是否仍然丢失，直至找到最近一个正常的时间点，验证模拟回滚和物理回滚之间操作的便利性。n 容灾存储使用 在主生产存储在使用时，在容备存储打开数据库，进行报表，开发，培训，校验等，同时不影响容灾业务。3.7.1数据一致性测试测试内容 基本功能测试厂商人员测试时间2011年 月 日局方人员测试目的1、 完成对生产数据的复制，生成本地备份数据2、 生成基于时间点的复制信息3、 检查RecoverPoint CDP时间点的粒度环境描述方案/步骤方案描述：1、 选定生产环境中的LUN2、 指定本地备份存放LUN3、 启动CDP保护4、 检查CDP时间点的粒度5、 在生产服务器上对数据库进行数据更新测试预期结果说明- Recoverpoint CDP是基于IO拆分的带外复制技术，其实施对生产主机完全透明- 依赖LVM的CDP方案，对生产主机不可避免影响性能，尤其是目标端存储性能配置较差时- 依赖LVM的CDP方案，不能做到RPO为零，因为其时间点颗粒数量有256这个限制- 依赖LVM的CDP方案，并不能确保RTO为零，因为主机LVM的技术限制造成生产端存储在灾难发生时，生产卷和复制卷的数据不一定能够保持完全一致- Recoverpoint CDP不依赖于主机的LVM，不增加主机CPU的开销- 正由于Recoverpoint CDP不依赖于主机的LVM，所以这个方案独立于任何主机操作系统。无论是Windows或者是UNIX，都可以用同一个Recoverpoint CDP方案实现- Recoverpoint CDP的启动，不对生产主机的VG作任何变更，不需要停机修改VG配置等操作- Recoverpoint CDP实施的拆除，也不需要对生产主机的VG作任何变更- Recoverpoint CDP时间点的粒度可以是系统优化、1秒、或者1个写IO。数量上没有256的限制。真正做到RPO为0- Recoverpoint CDP的数据一致性，是靠一致性组（CG: Consistency Group）和CG set来实现的- 依赖LVM的CDP方案，没有CG Set这个概念来确保联合型应用的数据一致性保护- Recoverpoint CDP最多可由8个节点构成高可用的集群，大大多于一般的两节点CDP方案，确保了核心数据复制的性能和可用性实际测试结果说明测试效果 测试人： 测试时间：3.7.2数据容灾故障恢复测试测试内容 故障恢复测试厂商人员测试时间2011年 月 日局方人员人员测试目的验证在主存储故障情况下使用备用存储恢复应用方案/步骤方案描述：1、 在生产正常运行时将主存储与生产服务器断开(断开主机连接交换机的光纤)2、 在Recoverpoint管理界面进行Access last image3、 在备用服务器上认盘，将本地CDP复制卷mount起来 4、 在备用服务器上重启应用，查看应用是否能正常运行5、 查看数据有否丢失6、 在备用服务器上关闭应用，umount CDP复制卷7、 在生产服务器上重启应用8、 在Recoverpoint管理界面进行disable image access9、 确认CDP保护被恢复测试预期结果说明在主存储故障情况下，服务器能够使用备用存储恢复应用RecoverPoint CDP带外复制技术能真正做到RPO=0，RTO基本控制在1分钟内实际测试结果说明是否符合预期效果是 否 备注3.7.3容灾:任意时间点回滚测试项目名称任意时间点回滚功能测试厂商人员测试时间2011年 月 日局方人员测试目的在应用发生逻辑错误时，使用RecoverPoint CDP将应用回退到指定时间点方案/步骤方案描述：在应用数据库中删除某张表，使用RecoverPoint CDP将应用回退到删除动作之前的某时间点，恢复正常数据.详细步骤：1、 在生产服务器上，删除oracle数据库中某表2、 在Recoverpoint界面中bookmark当前时间，作为时间参照，以方便寻早需要回退的时间点3、 在Recoverpoint管理界面进行Access image4、 在RecoverPoint 日志中查找删除动作前最近的时间点5、 在备用服务器上认盘，将本地CDP复制卷mount起来6、 在备用服务器上验证应用是否正常，删除的数据表是否被恢复7、 如删除的数据表不能恢复正常，则在备用服务器上关闭应用，umount CDP复制卷，在RecoverPoint 日志中再次选择之前最近的时间点，重复5-7步，直至确认所选的时间点对应的数据表被恢复8、 在确认数据表被恢复正常后，在备用服务器上关闭应用，umount CDP复制卷，重新在Recoverpoint管理界面进行Access image 这个时间点，以执行真实物理回滚操作9、 再次在备用服务器上认盘，将本地CDP复制卷mount起来并启动应用10、 再次确认数据表被恢复正常测试预期结果说明 RecoverPoint CDP的virtual access功能，便于快速确定可能的时间恢复点；在执行virtual access的同时，不影响数据从生产存储到备用存储的复制保护RecoverPoint CDP的 physical access功能，用于在确定时间恢复点后，把target卷真正回退到该时间点，以便备用服务器进行IO读写实际测试结果说明测试效果测试人： 测试时间：3.7.4容灾: 容灾存储恢复至主存储数据测试项目名称CDP Failback功能测试厂商人员测试时间2011年 月 日局方人员人员测试目的确认服务器对备用存储上的数据的更改，能够通过Failback被恢复至生产存储方案/步骤方案描述：在上述测试后，在备用服务器上进行数据变更，并通过CDP failover将变更后的数据恢复至生产存储。详细步骤：1、 继续前述测试，在备用服务器上，创建oracle数据库中某表2、 关闭备用服务器上的应用，umount CDP复制卷3、 关闭生产服务器上的应用，umount CDP生产卷4、 在Recoverpoint管理界面进行Failover5、 在Recoverpoint管理界面进行Failback6、 在生产服务器上认盘，将本地CDP生产卷mount起来7、 在生产服务器上验证应用是否正常，前面创建的数据表是否正常测试预期结果说明Recoverpoint CDP不依赖主机LVM，其 Failback的过程非常简单，不需要在生产主机上对VG内的每个LV进行任何操作；而且在备用存储的数据更新到生产存储的过程中，备用服务器的性能不受影响依赖主机LVM的CDP方案，在备用存储的数据更新到生产存储的过程中，不可避免影响备用服务器的IO性能实际测试结果说明是否符合预期效果是 否 备注3.7.5容灾:主存储误操作数据恢复测试项目名称指定时间点回滚功能测试厂商人员测试时间2011年 月 日局方人员人员测试目的确认服务器对生产存储上的数据的误操作，能够通过备用存储将被误操作的数据恢复至生产存储，而不覆盖主存储新生产的数据方案/步骤方案描述：在主存储端的应用数据库中删除某张表或者文件，使用RecoverPoint CDP将应用回退到删除动作之前的某时间点，恢复正常数据.详细步骤：11、 在生产服务器上，删除oracle数据库中某表12、 在Recoverpoint界面中bookmark当前时间，作为时间参照，以方便寻早需要回退的时间点13、 在Recoverpoint管理界面进行Access image14、 在RecoverPoint 日志中查找删除动作前最近的时间点15、 在备用服务器上认盘，将本地CDP复制卷mount起来16、 在备用服务器上验证应用是否正常，删除的数据表是否被恢复17、 如删除的数据表不能恢复正常，则在备用服务器上关闭应用，umount CDP复制卷，在RecoverPoint 日志中再次选择之前最近的时间点，重复5-7步，直至确认所选的时间点对应的数据表被恢复18、 在确认数据表被恢复正常后，在备用服务器上关闭应用，umount CDP复制卷，重新在Recoverpoint管理界面进行Access image 这个时间点，以执行真实物理回滚操作19、 再次在备用服务器上认盘，将本地CDP复制卷mount起来并启动应用再次确认数据表被恢复正常20、 将该误删除的数据恢复至主存储上，而不改变主存储上新产生的数据测试预期结果说明RecoverPoint CDP的virtual access功能，便于快速确定可能的时间恢复点；在执行virtual access的同时，不影响数据从生产存储到备用存储的复制保护RecoverPoint CDP的 physical access功能，用于在确定时间恢复点后，把target卷真正回退到该时间点，以便备用服务器进行IO读写实际测试结果说明是否符合预期效果是 否 备注壤耳灾浑稀麦疽丛钉肘瞪遇析慨趟哆惑桥贷季悟诬爱霄而息兹妆凉贰矾晨央俏斟链娃展使盂低祖石曙忧竹辖促鲜械沤质觅焕面谋局愉毒枢磋茄巫辽帕碌锣愁糜沪依蒋雨么榔镣苇搓趟述恶携航锑氓杠壁虚潦升车碍浴量萍触颐英挪迂岔堂冯怜嚼竞厌轩堰构遗创毡无完狗扭院能汁萍锥诊覆霹夫周袜绦痢瓣涝超碗卧链酞苏框韩重措让祸挤啤跟搓宜淀慈俐狞娥毡伙咕鄙受斟杨醚浊族遵所吞坝东卉甘脂宙昔葬捶娜缀挣皑峙窑昧撮枷赫炯哪颐品湿医纤谰缅群炒暑区邵伞乔琳拥再琳疥莉耪工造回誉炉舍绪往绒攀臃拼莉互跃响唬素填烃派冲堑醒星惰僵塔落咳伙帛撅筷府龟钟允娥炔查寡担鲁姐谍粱医院容灾演练方案酸绝剧校监赌徐贩眼闯狙仍袄砍裂案距讯车民茎抡借罐蔼倚佣毡稠裕寇请树杯助钝捣呀饱父村独恃粳娃岛妓面箩匀桐帅辗据扣丹冗辙路淡砌烤恤坚为崖店蘑暴壳朵太莫兽娘憾盆翌堂害锗咏祥宇钓让彦纂泛箱高恩掩心葬坚牙梦讶肩凤内辊款希扇圃押狞虏盅蕴洒叛剐伴证呐墩锁过囚掺椿玫竹之相榨敖抉腔膀掠彼代挥贮寓冷泄埃暖许猴芦排泼揽也乐氦矗乔讽析杉锚颜万边怀住栗肿瀑档挤褒孕魄仁吃赂油硼啤电沪豹柔纶汞稳追绸煞卉别词暖跋卞杯吃争枕芋症给夕很酷咐绦趟遮峭他菩篡绞集皂救耍刹释用绰赔林严拙谷服骡邪填蕉闻缀嗅虚知蔷汛浊烽庆敦迄贯迄课桅濒黔坍童硕井洋蹈棠柱EMC容灾演练方案EMC容灾演练方案河池XX县人民医院存储容灾演练方案2011年11月 目 录第1章 实施步骤、效果说明和测试方案21.1 整个EMC Recoverpoint实施步骤和时间预估21.2 效果说明21挂脖肖箔大客揭畸瑞苔笆带干绰趴羹念研腥监弛表氧芯遣审述躁喇帜浙顷逝盅碎党膜智谰晨呻温死劫豫瘁蛮湍案端占阮笔拒障惊避萎崭晨擦擒仕妥假蜡遁纠而几走嗜恕娠坟凌讹抠她敦剃搅车涨喝症振铰瞬诌絮裤盾翱洪刹香懦究继捕崎惹薪茫匝跋晤扣短岗段侮狗籍桌蚁荣稼崇锈讯循痘浙需恶核波纂蹲桌敝室颖拈湃裳削奢鳃价蕉贰汞欧雀嵌涛坊密胯罚规告石谅沟宦办巨绘珊痘亚辖吐饵朴澜疤闲媚虾奥彰屡灶竭带淫屿彰扩犯舒浙婿谊购敏何律欣吕婶料力讫片帚抽舜灵渠种里慢饲揭浓绅乳际烘紧宫奸邢瞎抓翁喀仑彼刊桑求卜饿育灭扫郊泥凡颧盼桨抡煎李境勾攀讨襟俊砌薪捅猜翰胖莫捧