商业银行关键业务系统存储数据迁移技术手册.docx

商业银行关键业务系统存储数据迁移技术手册

【摘要】关键性业务系统是企业中最主要维护运行的重要业务项目。本文结合银行数据迁移的实践工作，针对商业银行的部分关键性业务系统存储的数据迁移过程进行跟踪记录，详细描述了利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移，分析存储替换迁移过程中的困难点，同时提供了常见的问题解答，希望对同行有所参考。

第1章  背景概述本文档主要是以我行自身的关键业务数据迁移为场景，详细描述本次迁移关键性业务系统的迁移过程。此次迁移的场景主要是基于存储资源池下的数据存储迁移到未被池化的集中存储上（存储池化的设备为IBM存储网关，迁移的目标存储为华为OceanStor 18510 V5高端存储），迁移的关键业务系统主要运行在小型机平台上，因此迁移工作主要以小型机的AIX操作系统下进行操作执行，并将整个迁移过程做了相应的记录和规划。1.1 现状分析我行以IBM存储网关下管控的存储如华为OceanStor18000系列高端存储早期版本、DS8870、VSP等构建存储系统，因以上存储的运行时间较长，已经无法满足当前业务系统需求和未来快速增长的要求；计划进行替换或下线处理，需将其上承载的关键业务系统的数据迁移到更适合业务发展需要的去除存储网关的华为OceanStor 18510 V5（下文简称为目标存储）上来，以解决老旧设备老化问题，进而保证数据的安全性、连续性、稳定性。1.2 建设目标和要求本次数据迁移遵循一定的标准和原则，有目的性的选择有效的方案和工具进行数据迁移，从而减少重复性和盲目性，保障本次的数据迁移工作顺利完成。本次数据迁移主要利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移， AIX的LVM镜像功能进行数据迁移的存储配置操作以及数据迁移相关的步骤，不包括上层的主机、集群、数据库等业务系统相关的配置操作过程和步骤。必须同时满足以下几点，才能使用AIX的LVM镜像功能进行数据迁移。（1）业务场景：业务应用的磁盘空间是AIX LVM提供的LV（逻辑卷），这些LV（逻辑卷）建立在源存储提供的PV（物理卷）上。（2）集群应用：AIX单机、AIX主备双机（LVM + Hacmp）、AIX并发双机（LVM + Hacmp）、X86服务器主机、刀箱等。（3）存储型号：本次关键业务系统数据迁移关联的存储设备有华为、IBM、日立存储等，本文中涉及到迁移的存储型号包括华为OceanStor 18000系列高端存储早期版本 、DS8870、VSP（源存储）和华为OceanStor 18510 V5（目标存储）。（4）组网方式：DAS连接SAN连接（AIX服务器通过SAN交换机连接存储）。（5）迁移方式：因本次迁移的数据存储所承载的业务系统的重要性，大部分需要进行在线迁移，部分业务系统可以支持离线数据迁移。1.3 架构要求与选型当前银行业普遍的容灾方案架构是采用传统的存储网关同城双活容灾架构方案，随着技术快速发展和CPU等性能指标不断迭代更新，传统的存储网关技术架构已逐步不能够满足未来互联网业务发展需求，尤其目前推出的高端全闪存储产品的情况下，存储网关现已无法充分发挥全闪阵列的高可靠性、高性能、低时延的功能。为了适应未来业务发展的需要，考虑现阶段采用高端全闪存阵列双活已成为后续发展的主流技术。该架构不仅满足了监管对容灾建设的要求，而且能够满足后续互联网高速发展所需高可性、高性能、低时延的稳定的双活容灾架构要求。经过多轮调研，我行最终选择去除存储网关的华为OceanStor 18000系列高端存储，计划以华为OceanStor 18510 V5的高系统安全性、弹性高效、智能运维等特点来实现对于关键业务运行效率的提升。1.4 数据迁移工作原理数据迁移又称分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到另一台存储设备上，来保障数据的安全性和可靠性。可以让数据能够够好的对外提供服务。对于用户来说，上述数据迁移操作完全是透明的，并且在访问磁盘的速度上略有提升，而在逻辑磁盘的容量上没有多大变化。通俗地讲，数据迁移是一种把数据从一种介质上迁移到另一个介质上，让其安全、可靠的提供服务。1.5 准备工作要点迁移前的准备工作有以下几点：1、确保新目标存储资源设备已部署到位，并在运行过程中心未发现任何异常。2、保证新存储设备容量大小可以满足数据迁移的数据量需求3、保证迁移过程中源数据存储及相关存储网络及链路的运行状态正常，若有发现异常情况，需要先进行将异常或故障处理好后再进行迁移的计划进行执行。

第2章  数据迁移流程
数据迁移流程使用AIX的LVM进行数据迁移总体流程如下图所示：整个流程包含以下步骤：步骤一：迁移前的准备工作。包含的内容为，新存储环境需安装调试就绪，数据迁移前需是可用、完整，最迁移的数据进行迁移前备份。步骤二：实施迁移工作。步骤三：通过数据对比和业务测试来验证迁移的数据的完整性、可靠性。

第3章  数据迁移前准备
3.1  迁移环境准备
3.1.1  查询系统信息
主要包括以下以下信息：
系统信息
备注
主机信息
· 操作系统版本：oslevel –sq
· 集群状态信息：/usr/sbin/cluster/clstat -a
· 磁盘信息：lsdev -Cc disk
· 磁盘容量：bootinfo -s hdiskX（X表示盘号，如hdisk0的0）
· PV（物理卷）信息：lspv
· VG（卷组）信息：lsvg
· LV（逻辑卷）信息：lsvg -l XXVG（XXVG表示VG的名字）
· HBA卡信息：lsdev –Cc adapter、lscfg –vpl fcsX（X表示HBA卡号，如fcs0的0）
源存储多路径软件及版本
sdd   multipah
源存储配置信息
RAID、LUN、映射关系、告警集成等配置信息
业务环境组网图
主机、光纤交换机、源存储的组网图
3.1.2  获取所需的软件和工具
包括并不限于以下软件和工具：
软件或工具名称
备注
SSH登录工具
Putty、SshClient等
FTP工具

目标存储管理软件
华为存储网管软件是ISM
源存储管理软件
华为存储网管软件
目标存储多路径软件
华为存储多路径软件是UltraPath，根据系统信息确定目标存储对应的多路径软件版本
其他工具包括：串口线（RJ45串口）、网线、防静电手套、标签纸、笔记本电脑（确认可连接RJ45串口）。
3.1.3  检查系统及设备运行状态
包括以下设备及业务系统的运行状态：
系统信息
备注
业务、集群等运行状态
通过重启主机、集群切换等操作确认运行是否正常
主机运行状态
多路径运行是否正常、HBA卡及链路是否正常等
源存储运行状态
RAID、LUN、映射关系、告警集成等配置信息
光纤交换机运行状态
光纤交换机运行是否正常，链路连接是否正常

注意：1.在业务系统迁移前首先要保证业务系统的软件、硬件不能存在故障，若出现了故障请及时进行完成故障处理，确保整个迁移过程中系统和设备均正常。2.启动数据迁移前务必进行主机/业务重启以及集群切换等动作，确保业务系统没有潜在的风险。

3.2  配置目标存储
完全按照源存储（华为OceanStor 18000早期版本、DS8870、VSP）的RAID组、LUN、主机组、主机和映射关系等配置，完成目标存储（华为OceanStor 18510 V5）的安装部署。
3.2.1  配置硬盘域
硬盘域的硬盘类型决定了存储池可以创建的存储层级，为了构建存储池需要首先创建硬盘域，在硬盘域中需要指定构成硬盘域的硬盘类型和数量。存储初始化过程建议加业务系统的实际场景对存储的划分和配置相对应。建议使用不同硬盘域分别创建用于块存储业务或文件存储业务的存储池。为防止硬盘域成员盘失效造成数据丢失或性能降低，存储系统支持热备空间，用于承载失效成员盘中的数据。存储系统支持如下热备策略：存储层硬盘数小于等于12块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加，热备空间的容量呈非线性增加。当硬盘数量增加到175块以后，存储层每100块硬盘使用一块硬盘的容量作为热备空间。
3.2.2  创建RAID组及划分LUN
RAID组配置：与原华为OceanStor 18000系列早期版本、DS8870、VSP的RAID组顺序、RAID组名称、RAID级别和RAID组成员盘数目等RAID组配置信息保持完全一致。LUN配置：与原华为OceanStor 18000系列高端存储早期版本、DS8870、VSP的LUN归属RAID组、LUN名称、LUN容量和LUN数目等配置信息保持一致。映射关系：与华为OceanStor 18510 V5（目标存储）、DS8870、VSP的主机组、主机和启动器信息保证完全一致。

注意：1.当目标存储新创建的LUN的运行状态是“正在格式化”时，可以进行配置操作，但不能进行数据迁移。2.全部LUN的运行状态从“正在格式化”变成“在线”后，表示可正常读写数据，才能再进行数据迁移操作。3.启动数据迁移前， 必须确认目标存储工作状态正常，无任何告警，否则不能进行数据迁移操作。

3.3  数据备份
迁移前需要对迁移的业务系统进行相关备份，以确保即使迁移失败后数据仍具备完整性，现针对以上情况需要备份的内容包括以下数据：
参考文档
备注
业务配置信息
集群、业务平台（数据库/邮件系统等业务配置）等信息，导出备份信息。
系统信息
备份本次迁移关键业务系统涉及的系统信息，备份数据文件、应用程序。
光纤交换机配置
业务中用到光纤交换机光配置信息进行备份，做交换机cfgshow配置信息导出
源存储数据
源存储上即将进行迁移的数据需要备份，执行快照操作。

第4章  数据迁移方案

4.1  具体迁移流程
针对数据迁移过程，目前有三种场景，迁移的过程和步骤也会有所不同，现针对以下三种场景的迁移过程分解如下：本次主要的关键业务系统部署在power小型机上，现针对AIX操作系统的步骤如下。1.业务系统承载在单机迁移步骤如下：2.业务系统承载在主备集群的迁移步骤：3.业务系统承载在并发集群的迁移步骤：

说明：本文档中重点描述了数据迁移过程与存储相关的操作基础步骤，实际流程过程中心需要针对发生不同的情况进行调整、更改、补充业务系统相关的操作步骤。

4.2  添加目标存储映射
1、目标存储的多路径软件和源存储多路径软件兼容，可以共存与同一台AIX主机上并对2台存储映射的LUN互不影响。2、目标存储的多路径软件安装在AIX系统上不需要重启主机就可以生效；如果同时满足以上2个条件，可以按照下面步骤操作：步骤一：按照标准组网将目标存储通过DAS或SAN方式连接到AIX主机上；步骤二：在AIX主机上安装目标存储多路径软件；如果不能同时满足以上2个条件，比如本文中的目标存储多路径安装需要重启主机生效，则按照下面章节的内容进行操作。3、按照标准组网将目标存储通过SAN方式连接，并进行与目标主机连接，创建相应的主机和逻辑卷。4、在目标操作主机操作系统上安装目标存储多路径软件，通过重启进行多路径软件生效，并查看链路情况正常后进行下一步操作。
4.2.1  主机识别存储
更改设备物理连接在将目标存储接入映射前在AIX主机上扫描磁盘可以看到在将目标存储（华为OceanStor 18510 V5）接入映射前在AIX主机上扫描磁盘可以看到
·
·
·
·
·
·
# lspvhdisk0 000507829621c7f8 rootvg activehdisk1 000507824e40e0d3 rootvg activehdisk2 00050782bcc10788 datavg activehdisk3 00050782bcc10925 datavg activehdisk4 00050782bcc10abb datavg active
hdisk2-hdisk4是源存储所映射的逻辑卷（LUN），并且在业务应用的datavg中将目标存储的四路控制器上的FC端口和业务主机HBA卡光纤接口通过SAN交换机连接到AIX主机对应端口，如下图：
映射目标存储LUN给主机完成物理组网后，在目标存储使用的ISM管理软件添加对应的主机的FC HBA信息，并将格式化完成的LUN映射给主机。如果是双击或者集群环境，将新创建的逻辑卷（LUN）分别映射给双机或集群组。
4.2.2  在服务器上配置虚拟磁盘
1、步骤一：系统扫描新硬件# cfgmgr使用cfgmgr命令可以扫描主机端的硬件变更，扫描后使用lspv查看2、步骤二：发现磁盘
·
·
·
·
·
·
·
·
·
# lspvhdisk0 000507829621c7f8 rootvg activehdisk1 000507824e40e0d3 rootvg activehdisk2 00050782bcc10788 datavg activehdisk3 00050782bcc10925 datavg activehdisk4 00050782bcc10abb datavg activehdisk5 none Nonehdisk6 none Nonehdisk7 none None
输出的hdisk5~hdisk7是目标存储（S3900）新映射到主机上的LUN3、步骤三：将目标存储所创建的逻辑卷映射到主机的LUN（pv）中，并加入到原业务vg中，并确认所有新pv的状态。
·
·
·
·
·
·
·
·
·
·
# /usr/sbin/extendvg -f datavg hdisk5 hdisk6 hdisk7# lspvhdisk0 000507829621c7f8 rootvg activehdisk1 000507824e40e0d3 rootvg activehdisk2 00050782bcc10788 datavg activehdisk3 00050782bcc10925 datavg activehdisk4 00050782bcc10abb datavg activehdisk5 00050782d59629c3 datavg activehdisk6 00050782d5962ae8 datavg activehdisk7 00050782d5962c4f datavg active
4.3  迁移数据
1、步骤一：以root用户登录主机2、步骤二：使用mirrorvg命令对vg进行镜像同步，完成pv数据迁移：
·
# mirrorvg –S –m –c 2 datavg hdisk5 hdisk6 hdisk7
3、步骤三：查看迁移进度

·
·
·
·
·
·
·
·
·
·
# lsvg -l datavgdatavg:LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINTLv1 jfs2 36 72 2 open/syncd /Lv2 jfs2 36 72 2 open/syncd /usrLv3 jfs2 36 72 2 open/syncd /varLv4 jfs2 36 72 2 open/syncd /tmpLv5 jfs2 36 72 2 open/syncd /homeLv6 jfs2 36 72 2 open/stale /optLv7 jfs2 36 72 2 open/stale /appsjcf
上面输出结果中“LV STATE”列代表vg（卷组）中lv（逻辑卷）的镜像状态，“open/syncd”表示已经镜像同步完成，“open/stale”表示镜像同步进行中，当所有lv的状态变为“open/syncd”时表示数据镜像同步完成
4、步骤四：验证数据一致性由客户在业务侧验证数据一致性，确定数据迁移成功
4.4  迁移完成后移除源存储
1、步骤一：镜像关系拆除（在迁移主机上进行操作）所有需要迁移的vg的所有lv完成数据镜像后，这时候进行解开镜像关系，让AIX系统只使用目标存储（华为OceanStor 18510 V5）。命令如下：
·
# unmirrorvg datavg hdisk2 hdisk3 hdisk4
以上命令执行完毕后，执行下面的命令，若结果都为空则说明lv都已迁移到华为OceanStor 18510V5磁盘上。

·
·
·
# lspv –l hdisk2# lspv –l hdisk3# lspv –l hdisk4
步骤二：在主机操作把源存储（华为OceanStor 18000系列存储早期版本、DS8870、VSP）的盘从vg中删除
·
# reducevg datavg hdisk2 hdisk3 hdisk4
步骤三：查看此时pv状态。

·
·
·
·
·
·
·
·
·
# lspvhdisk0 000507829621c7f8 rootvg activehdisk1 000507824e40e0d3 rootvg activehdisk2 none Nonehdisk3 none Nonehdisk4 none Nonehdisk5 00050782bcc10788 datavg activehdisk6 00050782bcc10925 datavg activehdisk7 00050782bcc10abb datavg active
源存储（华为OceanStor 18000早期版本、DS8870、VSP）的磁盘不归属任何一个vg属于正常。
步骤四：在主机上删除源存储（华为OceanStor 18000早期版本、DS8870、VSP）映射的LUN磁盘卷。
·
# rmdev –dl hdisk2# rmdev –dl hdisk2# rmdev –dl hdisk2
步骤五：在IBM的存储网关上（SVC）回收源存储的逻辑卷，并回收相应的其它资源信息。

4.5  同步备机
1、步骤一：停止备机hacmp服务。2、步骤二：在主机上获取vg的major号。
·
# ls –l /dev/datavgCrw-rw---- 1 root system 49,0 Jul 17 14:51 datavg
3、步骤三：在备机同步vg信息。

·
# cfgmgr# varyoffvg datavg# exportvg datavg# importvg –V 49 –y datavg hdisk*
步骤四：在备机上扫描识别目标存储（华为OceanStor 18510 V5）映射的LUN并导入vg信息，设置vg属性为不启动激活。

·
# chvg –an datavg
5、步骤五：在备机同步资源和配置执行如下命令：# smit hacmp使用方向键和回车键，依次选择以下各项：Extended Configuration---- >Extended Verification and Synchronization保持弹出的菜单中各项默认值不变，直接按“Enter”键执行同步，注意同步过程中是否出现错误。若出现错误，则依据错误提示检查配置步骤，进行修正。若成功，则结果显示为“OK”。
6、步骤六：在备机上删除源存储（华为OceanStor 18000早期版本、DS8870、VSP）映射的LUN卷。
·
# rmdev –dl hdisk2# rmdev –dl hdisk2# rmdev –dl hdisk2
4.6  迁移过程
首先针对迁移业务系统主机进行添加目标存储多路径；其次进行停止和关闭业务和集群服务；然后进行删除源存储（华为OceanStor 18000早期版本、DS8870、VSP）多路径软件；接着针对源存储（华为OceanStor 18000早期版本、DS8870、VSP）物理设备逻辑卷进行移除并建立目标存储（华为OceanStor Dorado 18510V5）与AIX服务器的双链路物理连接按照下图连接目标存储、光纤交换机与AIX服务器，组成多路径组网步骤五：在主备机分别安装目标存储（华为OceanStor 18510V5）多路径软件
4.7  迁移后业务系统验证
针对迁移的业务系统数据是否已经完全搬迁到了目标存储上进行相关验证，首先针对数据量进行比对，比对一致后进行启动数据库及相关的应用系统服务后进行相关业务验证工作，经过测试人员的业务测试反馈业务交易运行正常，通过验证业务交易正常、并查询数据正常，则说明此次的业务系统迁移成功。
4.8  迁移后业务运行状况
经过一段时间的观察和性能的一些检测，业务运行的效率有所改善，从数据库的检测得到读写的IO延迟都有所减少。业务的交易耗时也相应得到改善。迁移后更好地满足了业务的运行需求。若在迁移过程中发现异常和数据不一致，将进行如下场景回退
4.9  回退过程
1、回退场景环境搭建
数据备份与恢复应对措施：
（1）通过业务自身的工具进行事前数据备份。
（2）卷镜像迁移过程中源存储（华为OceanStor 18000早期版本、DS8870、VSP）的LUN数据不被破坏，可用于数据回退。
2、业务切换至新环境的时间：
凌晨0:00至5:00为环境搭建以及业务切换至新环境的时间。
在5:00前，发生如下情况未能解决则需要执行回退操作：
（1）相关设备发生短时间无法处理的硬件故障；
（2）系统无法正确识别分配的存储空间；
（3）业务经过重新配置后无法正常运行，而且没有相关解决方案；
（4）现场工程师没有在指定时间段内完成割接。
3、回退步骤：
（1）在数据镜像拆除前出现问题回退步骤如下：
<1>组网回退到源存储（华为OceanStor 18000早期版本、DS8870、VSP）退网前的状态
<2>由于源数据并未丢失，只需在源存储上拉起业务即可
（2）数据镜像拆除后出现问题回退步骤如下：
<1>组网回退到源存储（华为OceanStor 18000早期版本、DS8870、VSP）退网前的状态
<2>使用备份数据进行恢复

第5章  总结
数据迁移是IT科技经常操作的内容。无论在任何数据迁移的过程中首要保障的必须是数据的安全性、完整性、可靠性。迁移过程要严格按照规划进行执行，保障整个数据迁移工作顺利完成。最终将数据迁移至华为OceanStor 18510V5后，既解决了原有系统组网复杂，故障率高的问题，又以新技术、新方案、新产品的角度，提高了核心业务系统，特别是核心数据库的响应速度。在很大程度上满足了我行未来几年的信息化发展。数据迁移之后，业务的交易耗时得到改善，更好地满足了业务的运行需求。本文结合我行数据迁移的实践工作，分析存储替换迁移过程中的困难点，利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移，希望对同行有所参考。
-全文完-