系统历史数据迁移专项方案.docx

新老系统迁移及整合方案此次总局综合业务系统是在原有系统基础上开发完成，所以，新旧系统间就存在着切换问题。另外，新开发系统还存在和其它部分应用系统，比如，企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通系统。本章将针对新老系统迁移和整合提出处理方案。新老系统迁移及整合需求分析系统迁移又称为系统切换，即新系统开发完成后将老系统切换到新系统上来。系统切换得关键任务包含：数据资源整合、新旧系统迁移、新系统运行监控过程。数据资源整合包含两个步骤：数据整理和数据转换。数据整理就是将原系统数据整理为系统转换程序能够识别数据；数据转换就是将整理完成后数据根据一定转换规则转换成新系统要求数据格式，数据整合是整合系统切换关键；新旧系统迁移就是在数据正确转换基础上，制订一个切实可行计划，确保业务办理顺利、平稳过渡到新系统中进行；新系统运行监控就是在新系统正常运转后，还需要监控整个新系统运行有效性和正确性，方便立即对数据转换过程中出现问题进行纠正。系统整合是针对新开发系统和保留老系统之间整合，以确保新开发系统能和保留老系统互动，确保业务顺利开展。关键任务是接口开发。需要进行迁移系统需要进行整合系统需要和保留系统整合系统包含：1、企业登记管理（含信用分类），全国企业信用联网统计分析，不冠行政区划企业名称核准，大屏幕触摸屏系统和企业信用联网应用，企业登记子网站，属地监管传输，网上业务受理之间整合；2、外资企业登记管理（含信用分类），全国外资企业监测分析和属地监管传输，外资登记子网站，网上业务受理，大屏幕触摸屏系统之间整合；3、广告监管系统和广告监管子网站之间整合；4、12315数据统计分析和12315子网站之间整合；5、通用信息查询、统计系统和数据采集转换之间整合；数据迁移和转换分析依据招标文件工商总局新建系统数据库基于IBM DB2，而原有系统数据库包含ORACLE，SQL Server，DB2。这种异构数据在总局关键存在于两个方面，即部门内部异构数据和上下级部门之间异构数据。同时，系统技术构件有.NET和J2EE两大类。对于部门内部异构数据集成采取数据移植方法，如：假如数据有基于DB2管理，有ORACLE管理，有SQL Server管理，就依据新系统DB2要求，把ORACLE数据迁移到DB2数据库中，把SQL Server数据迁移到DB2数据库中。上下级国工商局之间异构数据集成利用数据交换系统来完成，关键在于数据库存放标准、交换标准制订和遵守，确保数据共享，这部分工作由数据中心完成。系统迁移和整合目标一、系统切换关键目标：l 确保系统正常运行在数据转换过程中，因为原有系统数据复杂性，给数据转换工作带来了很大难度，为了在新系统开启后不影响原系统正常业务，所以数据转换完成后，必需确保新系统正常运行。l 确保原有系统在新系统中独立性原有系统是独立运行系统，数据在新系统中即使是集中存放，不过各个系统因为存在业务上差异，数据在逻辑上应该保持一定独立性。二、系统整合目标：确保直接关联系统互动，确保业务正常办理。比如公众服务系统和基础业务系统之间互动，基础业务和协同业务之间互动等等。系统切换方案系统切换工作步骤系统切换包含前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。系统切换整个工作步骤以下所表示：图 Error! No text of specified style in document.1 系统切换步骤示意图系统切换工作步骤前期调研阶段前期调研是数据转换中很关键一个步骤，也是至关关键一部分。在进行数据转换工作前，我们需要先认真阅读系统相关文档，如数据字典、系统概要设计汇报等，来熟悉原有系统。当然在阅读文档过程中肯定还会有了解不清楚地方，这时还需要熟悉原有系统工程师帮助。数据转换前期工作就是对原系统做一次根本全方面了解，关键需要考虑有下面部分情况：1、原系统网络结构；2、原系统业务范围、存在几套业务系统和她们之间关系；3、原系统开发商、开发工具、开发平台和采取数据库；4、原系统数据分布情况：包含数据范围、数据量大小等；5、原系统业务步骤；6、原系统数据步骤；7、原系统数据结构；在了解这些要素基础上，需要编写前期调研分析汇报。调研汇报关键包含以下部分方面：1、将全部数据表进行分类，如系统参数类、代码类、综合业务类、相关业务类等等。2、对全部数据表数据组成、数据起源、用途等进行描述。3、并非全部数据全部是需要进行转换，在数据字典分析汇报中要指出那些数据表是需要进行转换，那些是不需要进行转换，对于不需要转换表要说明不需要转换原因。4、描述数据在各表中流向，对于关键或复杂业务点要做具体说明。转换设计阶段转换设计阶段关键是完成新旧数据字典对照，同时明确各个表中具体数据字段转换方法。在转换设计阶段关键是编写数据字典对照汇报数据字典对照汇报关键描述新旧系统数据表间对照关系和代码对照关系。以新系统为准，原系统作参考，将原系统数据字典对应到对应系统数据字典中。在对照过程中，需要遵照数据照搬标准，数据尽可能不要作处理。在数据字典对照表中需要进行转换数据字段应该一一对应，对新旧数据表中字段名称、类型、精度等全部要有具体描述，同时还要明确数据转换方法。数据转换方法关键有以下多个：1.直接转换。直接转换方法是最常见方法，就是将原表中对应字段数据原封不动搬到新表中来。根据“数据照搬”标准，我们应该应该尽可能采取这种方法。2.程序转换。对那些需要进行计算才能进行转换数据将采取程序转换方法进行。3.代码对照。一些代码字段，往往新旧系统编码不相同，这时就需要参考代码对照表进行代码对照转换。4.类型转换。少数数据可能需要对类型进行转换，如就表以字符串YYYY-MM-DD来存放日期，而新表中以DATE型来存放日期，这时就需要进行类型转换。5.常量转换。新表中一些字段可能存在缺省值，这时将采取常量转换方法，当旧表没有对应字段或旧表对应字段数据为空时，将直接在新表中写入缺省数据。6.不转换。对于旧表有但新表中没有字段将不作任何转换。新旧系统代码对照列出了全部需要进行转换新旧系统数据表中存在二级代码间对照关系，关键以二级代码对照表形式来反应。数据迁移一、数据整理策略数据整理就是将原系统数据整理为系统转换程序能够识别数据。数据整理大致分为两个阶段：第一阶段就是将不一样类型起源数据采集备份到统一数据库中；第二阶段就是将原始数据进行整理，根据不一样要求分类进入不一样中间数据库，为数据转换提供中间数据。数据整理过程采取了以下方法：l 确保原始数据完整性在进行数据整理之间，我们先需要对原始采集数据进行备份。备份目标有两个：一个是统一数据库，便于数据转换，另一个就是为以后数据追根溯源提供参考依据。在本系统中，我们将采取DB2作为备份统一数据库。l 数据分级过滤策略数据分级过滤就是把数据根据不一样数据等级进行分类整理进入不一样中间数据库中。本系统中我们把数据分为三个等级：废弃数据、待调整数据、可转换数据。废弃数据就是该部分数据存在对系统资源造成浪费数据，而且会影响以后系统运行。待调整数据就是该部分数据严重影响新系统运行，必需进行人工调整后，方可进行数据转换。可转换数据就是该部分数据不需做任何处理，基础满足数据转换要求或是该部分数据新系统提议调整，不过不影响系统运行，能够等新系统运行后再调整，这么能够为数据转换工作节省很多时间。l 借助数据整理相关工具数据整理很艰巨，包含数据量很大，经过人工检验是不可能完成，所以必需编写相关数据整理工具完成数据整理。包含数据整理工具和数据纠错工具。数据整理工具负责将原始备份数据库中数据进行分类进入不一样中间数据库；数据纠错工具负责提供友好、方便工具界面供用户方相关人员完善和纠正错误数据。l 利用中间库作为桥梁因为原系统和新系统数据库结构可能不一样，所以采取中间库作为衔接新旧系统数据关键桥梁，对于建立新旧系统对照关系很关键。一旦业务人员对新系统中某项转换数据存在疑问情况下，就能够经过中间库关联，顺利找出原数据。二、数据转换数据转换就是将整理后数据，依据对照表要求进行转换，并写入到新系统。这个过程能够经过交换系统实现。三、数据整理和转换步骤l 设计数据移植方案 设计数据移植方案关键包含以下多个方面工作：研究历史数据结构、起源、数据项定义、取值等现实状况，研究新旧数据库结构差异，评定和选择数据移植软硬件平台、选择数据移植方法、选择数据备份和恢复策略、设计数据移植和测试方案等。 l 源数据库数据清理对于一个运行已久数据库，关键存在三种数据库垃圾：数据库对象垃圾、数据库权限垃圾、数据垃圾。数据库对象清理不是一件轻易工作，需有认真负责态度，要有耐力，任何错误清理不仅会造成前端不能运行，而且将会造成数据丢失。所以清理数据库对象可能需要一个安全、正确，可很快恢复方法。首先要认识数据库资源，包含数据库对象，如表、数据库事件、过程、函数，数据库结构关系，在此基础上结合运行系统，确定数据库垃圾，制订合理垃圾清理方案，达成清理垃圾目标。关键方法是对数据库数据进行整合和分解，整合相关数据降低数据反复，分解数据则可是数据团体更趋向合理，当然整合和分解要以适合新设计数据库结构为基础，方便简化转化程序。l 进行数据模拟移植 依据设计数据移植方案，建立一个模拟数据移植环境，它既能仿真实际环境又不影响实际数据，然后在数据模拟移植环境中测试数据移植效果。数据模拟移植前也应按备份策略备份模拟数据，方便数据移植后能按恢复策略进行恢复测试。 l 测试数据模拟移植 依据设计数据移植测试方案测试数据模拟移植，也就是检验数据模拟移植后数据和应用软件是否正常，关键包含：数据一致性测试、应用软件实施功效测试、性能测试、数据备份和恢复测试等。 l 准备实施数据移植 数据模拟移植测试成功后，在正式实施数据移植前还需要做好以下多个方面工作：进行完全数据备份、确定数据移植方案、安装和配置软硬件等。 l 正式实施数据移植 根据确定数据移植方案，正式实施数据移植。数据整理和转换关键技术对于多源异构数据库之间数据转换，因为目标数据库格式和约束限制严格，直接编写转换程序实现困难，可在原有数据库系统中编写转换程序。对于源数据库、目标数据库结构有差异数据，建立中间过渡库，中间库在原数据库平台中建立，但结构和目标数据库结构相同。将源数据库转入中间库过程是一个数据重新组合和关联过程，将是转换中心和关键工作，需要对源数据库和新数据库数据关系进行深入分析，对每一个数据库写出转换策略。非空处理：对于应该非空但实际为空统计制订处理规则。取值约束处理：对于有取值范围约束字段进行规范化处理，立即转换后数据取值规范到该范围内。主键处理：重新对中间库进行编号。填写外键：每个数据库或多或少存在外键，外键越多，标明和其它库关联越多，这么库应后处理；反之，外键越少库应该先处理。唯一键处理：对要求唯一数据项（主键、唯一键）进行唯一检测，并对检测出不唯一统计，制订处理规则。附加分散处理：对一些表中一些字段进行数据规范化处理，立即不合规范数据替换成规范数据，多个表之间关联处理，和部分特殊处理等。数据一致性处理：对于有多个数据源数据进行一致性检验, 制订处理规则。新旧系统切换 第一步：编写系统切换方案。系统切换方案包含系统切换方法、系统切换计划等内容。第二步：组织相关人员对系统切换方案进行评审，假如未经过，则需要调整系统切换方案。第三步：进行业务系统数据转换。在进行业务系统数据转换前，需要先选择一个时间点进行业务系统数据采集。该时间点选择以完成一个完整业务周期为准。l 转换时机依据以往经验，我们提议将正式数据转换时间放在月结刚刚完成后而且最好是节假日。l 准备工作正式数据转换前准备工作是很多，现列举以下：编写具体数据转换指南。数据转换指南应该是在前面几次试转换过程中编写并完善，要具体说明数据转换全过程，包含：准备工作、实施步骤、注意事项等。编写实施脚本。在前面几次试转换基础上编写并完善好数据转换实施脚本。实施脚本包含：转换实施脚本、验证实施脚本等。全部脚本全部必需安装实施前后次序编写，在正式转换时将根据次序来实施。数据库环境准备。依据以往经验，在正式转换阶段出现异常往往全部是有数据库方面，大部分是因为数据库环境没有准备好。数据库方面需要做好以下几方面准备：表空间划分、大数据文件准备、大回滚段准备、创建索引等。其它必需准备。在正式转换前，老系统要停止使用，同时在还需要把老系统数据做一次完整备份。 l 实施过程数据转换时将根据已经编写好转换实施脚原来进行。对没一步操作全部要做好日志统计，日志分两种，一个是计算机自动产生日志，如LOG文件；另一个是在转换实施过程中手工做统计。在正式转换时，要求最少两人一起工作，其中一人负责操作，另外一人负责监督，两人全部必需做好统计。每实施完一条转换命令后全部需要去查看部分错误统计表，假如出现异常错误信息，需要暂停转换实施，对错误分析处理完成后才能继续实施。l 验证过程转换实施结束后，需要对转换结果进行验证，验证时根据已经编写好验证脚原来进行，验证最好由两名以上人员分开来进行，在验证过程中做好每一步验证统计。假如在验证过程中没有发觉异常，而且几名验证人员验证统计全部很一致，则能够认为已经经过验证。l 收尾工作数据转换工作实施完成后，需要对关闭原有系统全部业务经办功效，只开发查询功效，方便业务人员在需要时能够继续查询旧系统中数据。对新系统数据进行一次物理备份，同时开启新系统数据库重做日志功效。到此时为止新旧系统数据转换工作全部结束，整个应用系统将切换到新系统上来运行。第四阶段： 新系统运行监控及数据整理在全部新系统平稳运行后，还需要进行定时运行监控和对部分数据进行调整。对于那些对系统运行未造成影响，在数据整理过程中，没有进行数据修正，所以在系统平稳运行后，需要对这些数据进行调整。系统切换保障方法系统在整个切换过程中，安全、平稳过渡是第一位。我们将采取以下方法确保系统切换安全：1、数据备份在进行新旧系统数据转换时，对原系统数据进行备份以确保历史数据可追溯性。一旦在新系统中业务办理出现问题，则能够经过追溯历史数据来判定是数据转换错误，还是新系统程序存在BUG。2、 数据测试数据测试分为两个层次测试，一个是数据监测性测试，就是在数据转换完成后，测试数据转换正确性；二是验证性测试，验证性测试经过使用已经经过功效测试新系统办理实际业务来验证数据转换正确性。数据测试是一个关键步骤，关系到系统切换成功是否，所以必需加大测试力度来确保数据转换正确性。而和数据测试相关系统功效测试也必需重视，因为假如系统功效假如存在问题，则数据测试也就无法确保正确性。3、切换点选择系统在什么时候进行切换，也是一个很关键问题。通常情况下，我们全部选择一个业务周期结束，下一个业务周期开始时候进行切换。4、切换方法选择系统切换有两种方法，一个是新旧系统并轨运行，一个是新系统单轨运行。对于第一个方法旧系统为主，新系统为辅，在时机成熟时候在切换到新系统运行；第二种是以新系统为主，旧系统为辅，旧系统只是验证新系统业务办理正确是否。第一个方法安全系数因为过渡期时间会很长，业务人职员作量很大，而第二种因为直接采取新系统，存在一定风险，我们能够经过加大测试力度来降低风险。总而言之，我们提议采取第二种方法，就是新系统为主，原系统为辅方法。5、应急预案在特殊情况下，因为某种原因造成系统没有能够正常切换或切换以后系统运行不稳定，在这种情况下，必需开启应急预案来处理。具体应急预案以下：应急预案需要从业务系统、数据库、网络平台三个方面来考虑应急处理方法，只有三方面同时恢复到系统切换前状态，才能确保原系统业务经办正常进行。业务应用系统应急方法关键是在业务经办时保留原业务应用系统，而且确保原业务应用系统用户端配置环境能够在最短时间内恢复到以前配置；数据库应急方法就是利用原始数据和原系统保持一致来处理，也就是在新系统数据库中保留备份，而且根据原系统数据集中情况下分不一样用户存放备份数据，不过用户名仍需要采取原数据库系统用户名。一旦出现紧急情况，新系统数据库立即切入原备份数据库；网络平台应急预案就是确保在数据大集中情况下整个社会保障网络链路通畅即可。系统切换过程中需注意问题1、最大程度确保原系统数据转换到新系统中，即使是对错误数据进行部分处理，然后在新系统中调整。2、新旧系统对应关系一定要完整。3、原系统数据在新系统中一定要有备份，不能数据转换完成以后就将原系统数据删除掉。原系统备份数据最少保留十二个月时间。4、新系统开发过程中，数据转换责任人一定要和软件项目责任人保持常常沟通，以确保转换数据正确性。同时软件项目责任人熟悉原系统业务步骤和用户习惯操作方法也是有必需。5、数据质量测试是很关键一个步骤。