贵州银行搬迁数据库技术方案-云和恩墨-20160701-v1.6.pptx

单击此处编辑母版标题样式,编辑母版文本样式,第二级,第三级,第四级,第五级,2016/7/27,#,YUNHE ENMO(BEIJING)TECHNOLOGY CO.,LTD,云和恩墨,成就所托,贵州银行遵义到金阳搬迁,数据库迁移技术方案,背景,目标,技术方案论证,业务功能测试,切换演练测试,正式切割方案,运,维保障,风险评估,方案概述,根据贵州银行搬迁项目需求和总体评估，遵义数据中心的生产环境系统将以逻辑方式迁移到金阳数据中心。其中数据库数据是整个生产环境的重要部分，所以数据库数据的迁移是整个搬迁工作的核心内容。,为了避免迁移造成的数据损失以及切换的顺利实施，本方案从技术方面尽量,保障数据,迁移的完整性和一致性，,确保搬迁切换顺利进行。,背景,分类,Oracle,数据库,1,、逻辑迁移方式,2,、,DG,数据复制技术,3,、迁移清单确认,4,、,DG,环境搭建,5,、备库转换角色切换,非,oracle,数据库,1,、生产迁移存储复制,2,、容灾采用存储复制,目标,一,完成遵义到金阳,DG,测试环境搭建（伪生产）,完成金阳待投产基础环境搭建,二,完成金阳第一阶段生产数据初始化（静态）,配合业务完成业务测试工作,数据库高可用测试,(,部分核心系统,),三,完成金阳第二阶段生产 数据初始化（动态）,配合完成切换演练工作,四,完成遵义到金阳正式切割,配合完成切换后运维保障工作,阶段,技术方案,业务功能,切换演练,正式切换,运维保障,资源配置,迁移前准备工作项,在遵义数据中心选取两套具备代表性的生产库搭建伪生产环境,在金阳数据中心搭建,DataGuard,数据库,在金阳数据中心搭建待投产生产环境，资源配置同遵义生产库（,1:1,）,在遵义数据中心准备临时,NFS,存储用于初始化数据的存储，后续物理搬迁到金阳挂载进行数据恢复,调研检查遵义数据中心,DG,待迁移生产环境的归档空间大小、归档模式等信息,DG,自动化监控脚本准备,第一阶段,DG,迁移技术方案论证测试,遵义生产数据中心,生产数据库,一级,DG,数据库服务器,一级,DG,数据库服务器,核心库一套,X86,代表库一套,伪生产数据库,RMAN,方式,金阳待投产数据中心,一级,DG,数据库服务器,一级,DG,数据库服务器,核心,AIX,数据库,Linux,代表库,DG,库,DataGuard,在不影响现有生产环境的前提下：,遵义,AIX,核心库和一套,Linux,核心库,遵义,本地伪生产数据库,金阳,DG,数据库搭建,两地,进行,DG,迁移技术性测试,第二阶段,业务功能测试阶段,待投产环境安装,第一次初始化数,测试环境启动,业务功能测试配合,压力测试配合,新增数据库高可用测试,第二阶段,搬迁数据迁移工作,项示意图,第一次初始化数据方案,NFS,存储,金阳待投产数据中心,遵义生产数据库中心,生产全量库,生产,A,生产,B,生产,C,物理,搬迁,NFS,测试,库,测试,库,测试,库,测试库,测试库,测试库,在不影响生产运行的前提下,，,采用多种方式并行、分批次进行数据初始化,RMAN,压缩备份数据,Expdp,数据泵导出数据,金阳到遵义远程不落地,db_link,方式进行数据迁移,第三阶段,切换演练阶段,待投产环境检查,第二次数据初始化,DG,数据库搭建,DG,连通性配置,DG,监控脚本部署,DG,数据同步追平,DG,快照创建,切换演练,第三阶段,关键点说明,DataGuard,异地迁移切换,金阳新环境需挂载用于闪回的文件系统目录,/flash_recovery,遵义到金阳带宽需,250MB,金阳新环境文件系统、主机资源需同遵义生产库保持一致或略大于遵义,遵义主库开启归档模式,遵义主库归档目录需满足存放一周日志量,遵义主库最高性能模式,第三阶段,搬迁数据迁移工作,项示意图,DataGuard,环境数据初始化,NFS,存储,金阳待投产数据中心,遵义生产数据库中心,生产全量库,生产,A,生产,B,生产,C,物理,搬迁,NFS,DG,待投产库,DG,待投产库,DG,待投产库,DG,库,DG,库,DG,库,生产全量库,DG,待投产库,DG,待投产库,DG,待投产库,DataGuard,DataGuard,DG,库,DG,库,网络远程传输,DG,数据实时性监控设计,确保切换前，遵义数据中心和金阳数据中心的主备数据传输正常、数据一致性得到实时监控,遵义生产数据库中心,金阳待投产数据中心,一级,DG,数据库服务器,一级,DG,数据库服务器,核心,AIX,数据库,Linux,代表库,DG,库,A,生产,A,生产,C,生产,B,生产,D,监控平台,服务器,中间库,比,对,日志应用号,DG,库,B,DG,库,C,Log SEQUENCE,#,Log SEQUENCE,#,Log SEQUENCE,#,Log SEQUENCE,#,通过中间库定时收集遵义和金阳数据中心的最新日志应用号比对数据的实时传输应用情况，比对结果为,false,，邮件或监控平台通知处理。,第三阶段,搬迁数据迁移工作,项示意图,金阳待投产切换演练,flashback,遵义数据库中心,生产全量库,生产,A,生产,B,生产,C,DG,待投产库,DG,待投产库,DG,待投产库,DG,库,DG,库,DG,库,生产全量库,DG,待投产库,DG,待投产库,DG,待投产库,DataGuard,DataGuard,DG,库,DG,库,演练快照库,演练快照库,演练快照库,演练快照库,演练快照库,演练快照库,flashback,DataGuard,第三阶段,Flashback DG,快照方案,flashback,3.,打开数据库至,mount,4.,确认是否打开,flashback,5.,创建可保障的还原点,6.,激活,Standby,库进行测试,7.,将激活的,Standby,，库闪回并重新转换为,Standby_DB,8.,删除之前创建的还原点关闭闪回并重新开启同步,1.,确保设置了,Flash Recovery Area,2.,关闭日志应用和数据库,操作之前务必断开主库和,DG,备库的关系,第四阶段,停止应用,查看,archive log gaps,是否存在,物理备用数据库上发起,failover,操作,物理备用数据库转化成主用角色,启动,金阳,数据库,数据一致性验证,项目组技术验证,切换成功,主选方案：,Failover,Failover,方式切换,是在主数据库宕掉（一般是硬件严重故障导致）后，物理备用数据库切换成,primary role,，切换后,，原主库停机作为回退数据库,第四阶段,Failover,方案说明,NO1,：为保证数据库一致性，需确认遵义主库日志完全同步到金阳且需手工在主库切换空日志传送到金阳进行,recover,保证数据无丢失,NO2,：为保证遵义生产库后续能正常进行跑批以及保留完整的回退环境，需确认遵义生产库在切换角色之前正常停库，,金阳切换不破坏遵义生产环境的可用性,NO3,：金阳新环境切换前需,查看归档文件的完整性、应用日志无,GAP,且数据同遵义生产环境追平,第四阶段,Failover,步骤说明,遵义切换日志后停库,手工切换日志,日志传输完毕后断开,DG,关系,手工正常停库,金阳日志追平,查看归档文件是否连续,查看归档文件的完整性,查看是否存在,GAP,、日志应用是否追平,启动,Failover,alter database recover managed standby database finish force;,金阳角色转换,切换成,primary,1,、查看归档文件是否,连续,2,、查看归档文件的,完整性,3,、启动,failover,4,、切换到,primary,5,、启动,数据库,到,open,状态,6,、,查证数据库可用性,第四阶段,正式切换阶段,停止应用,验证数据库主备同步情况,主备数据库角色切换,数据库可用性验证,启动,金阳,数据库监听,应用项目组验证,检查,DG,日志同步状态,切换成功,备选方案：,Switchover,Switchover,方式,是,primary,和,standby,互换角色，一般都是人为的有计划,的切换，不会造成数据丢失。会造成遵义和金阳的数据库角色互换，达不到回退需求。,第四阶段,触发条件：,其他因素导致数据库必须回退,回退方案,Failover,在不破坏遵义生产环境的条件下进行,Failover,切换的回退方案：,直接启动遵义原生产数据库,open,使用,第四阶段,触发条件：,切换失败造成数据库无法,open,应急准备,方案,NFS,存储,一、切换,当天由第三方公司通过,NFS,存储拷贝遵义生产数据库备份集运输到金阳数据中心备用，确保遵义生产主库归档日志保留,2,天时间,二、切换当天通过网络远程备份数据库到金阳数据中心空闲存储上,三、采用,expdp,临时进行遵义数据中心数据导出传输到金阳导入,第五阶段,运维保障阶段,金阳,数据库全备份,-,由相应厂商,负责,金阳,数据库监控部署,-,由相应厂商,负责,金阳数据库核心系统性能监控,金阳数据库深度巡检,金阳数据库常规运维,风险评估,风险与问题,金阳数据中心资源配置需满足同遵义,1,：,1,配置,受停机时长影响、切换人工增倍问题,业务测试过程金阳数据库运维人工问题,演练风险,：,因金阳和遵义网络不断开，应用、接口等可能因配置错误导致连接遵义生产环境,项目成本、人工、资源预估不足风险：因所有方案设计均是按照最初收集的清单进行方案计划，当前由于项目延期期间新增系统未纳入统计，造成成本、人工、人天、网络消耗、资源预估等超出计划的情况,临时,NFS,存储搬迁,过程中的,单点,风险,DataGuard,的网络交换机单点风险,广域网带宽不足导致数据同步延时较大的,风险,批处理,JOB,同切换并行执行风险,谢谢,