浅谈对数据迁移与割接的研究.doc

相关对数据迁移与割接研究将原信息化管理系统中大量有效历史数据导入到新版应用系统中, 这对新系统正常运行有着关键影响, 确保了对大量历史数据正常使用, 从而在不影响全部用户工作前提下完成信息化管理系统升级改造工作。在现有信息化管理系统所积累大量数据, 需要仔细衡量历史数据有效性和对新系统影响以及数据迁移方法和方法。而这决不仅仅是异构数据库、 不一样存放设备之间数据迁移那么简单, 它更像是对原应用系统数据以及原系统业务步骤重新审阅和考评。提议最好能提供原信息系统相关文档资料, 安排长久应用旧系统人员参与到数据迁移工作中, 以了解新旧系统数据库和相关字段, 避免数据字段对应错误, 或者其她更有效方法协作共同做好数据迁移工作。所以数据迁移系列工作是需要各个部门共同讨论, 协调完成。1 数据迁移策略与方法数据迁移内容是整个数据迁移基础, 需要从信息系统计划角度统一考虑, 可从横向时间和纵向功效模块两个角度考虑, 从而因地制宜地采取不一样数据迁移策略和方法。1.1 数据迁移策略1.1.1 横向划分以产生数据时间为划分依据, 优先考虑迁移与目前日期较近数据, 这么能够尽可能缩小新系统因为历史数据问题对用户影响, 而那些相对比较久远数据能够分批次进行数据迁移。1.1.2 纵向划分以处理数据功效模块为划分依据, 需要考虑在新系统中没有被包含功效模块所包含数据处理问题。这类数据因为无法建立映射关系, 通常不需要迁移到新系统中。但对于模块间偶合度比较紧密旧系统, 在纵向划分时需要注意数据完整性。对于新旧系统均包含功效模块数据, 需要深入分析关键关键字段信息以及各功效模块相互关联数据信息迁移, 但切忌贪图数据高完整性。1.2 数据迁移方法依据不一样迁移划分, 我们采取不一样数据迁移策略和方法。迁移方法关键有一次迁移、 分次迁移、 先录后迁、 先迁后补等多个方法可供选择。我们依据实际情况, 选择最适合数据迁移方法来进行数据迁移工作。1.2.1 一次迁移一次迁移前提是新旧系统数据库差异不大, 许可宕机时间内能够完成全部数据量迁移。优点: 迁移实施过程短, 相对分次迁移, 迁移时包含问题少, 风险相对比较低。缺点: 工作强度比较大, 因为实施迁移人员需要一直监控迁移过程, 假如迁移所需时间比较长, 工作人员会很疲惫。一次迁移前提是新旧系统数据库差异不大, 许可宕机时间内能够完成全部数据量 b迁移。1.2.2 分次迁移分次迁移是经过数据迁移工具或迁移程序, 将需要历史数据分几次迁移到新系统中。分次迁移通常在系统切换前先迁移将静态数据和改变不频繁数据, 比如代码、 用户信息等, 然后在系统切换时迁移动态数据, 比如交易信息, 对于静态数据迁移以后发生数据变更, 能够天天同时到新系统中, 也能够在系统切换时经过增量方法一次同时到新系统中。优点: 分次迁移能够将任务分开, 有效地处理了数据量大和宕机时间短之间矛盾。缺点: 分次切换造成数据数次合并, 增加了犯错概率, 同时为了保持整体数据一致性, 分次迁移时需要对先切换数据进行同时, 增加了迁移复杂度。1.2.3 先录后迁先录后迁关键针对新旧系统数据结构存在特定差异情况, 即对于新系统启用时必需期初数据, 无法从现有历史数据中得到。优点: 最大程序上降低了新旧系统因数据差异性所带来影响。缺点: 工作强度大。1.2.4 先迁后补先迁后补是指在系统切换前经过数据迁移工具或迁移程序, 将原始数据迁移到新系统中, 然后经过新系统相关功效, 或为此专门编写配套程序, 依据已经迁移到新系统中原始数据, 生成所需要结果数据。优点: 降低迁移数据量。缺点: 不能立刻满足用户对历史数据使用要求。2 数据迁移实施方案数据迁移实现能够分为三个阶段: 数据迁移前准备、 数据迁移实施、 数据回退方法和数据迁移后校验。依据数据迁移特点, 大量工作都需要在准备阶段完成, 充足而周到准备工作是完成数据迁移关键基础; 数据迁移实施是实现数据迁移三个阶段中最关键步骤, 依据实际情况, 灵活选择数据迁移方法; 数据迁移后校验是对迁移工作检验, 数据校验结果是判定新系统能否正式启用关键依据。2.1 数据迁移技术准备数据迁移通常包含多项工作: 旧系统数据字典整理、 旧系统数据质量分析、 新系统数据字典整理、 新旧系统数据差异分析、 建立新旧系统数据之间影射关系、 开公布署数据转换与迁移程序、 制订数据转换与迁移过程中应急方案、 实施旧系统数据到新系统转换与迁移工作、 检验转换与迁移后数据完整性与正确性。1. 数据格式检验: 检验数据格式是否一致和可用。2. 数据长度检验: 检验数据有效长度。3. 区间范围检验: 检验数据是否包含在定义最大值和最小值区间中; 比如年纪为300, 或录入日期在4000-1-1。4. 空值、 默认值检验: 检验新旧系统定义空值、 默认值是否相同, 不一样数据库系统对空值定义可能不一样, 需要尤其关注。5. 完整性检验: 检验数据关联完整性。如统计引用代码值是否存在, 尤其需要注意是有些系统在使用一段时间后, 为了提升效率而去掉了外键约束。6. 一致性检验: 检验逻辑上是否存在违反一致性数据, 尤其是存在分别提交操作系统。2.2 迁移实施数据迁移程序开发、 布署关键有两种选择, 即自主开发程序或购置成熟产品。这两种选择都有各自不一样特点, 选择时还要依据具体情况进行分析。纵观现在中国部分大型项目, 在数据迁移时多是采取相对成熟ETL产品。能够看到这些项目有部分共同特点, 关键包含: 迁移时有大量历史数据、 许可宕机时间很短、 面对大量用户或用户、 存在第三方系统接入、 一旦失败所产生影响面将很广。同时也应该看到, 自主开发程序也被广泛地采取。相关ETL产品, 如InformixInfoMover、 Microsoft SQL Server 7DTS和OracleOracle Warehouse Builder, Ascential Software企业DataStage。数据迁移能够采取不一样方法进行, 关键有三种方法, 即系统切换前经过工具迁移、 系统切换前采取手工录入、 系统切换后经过新系统生成。1) 系统切换前经过工具迁移在系统切换前, 利用专门开发数据迁移程序或ETL（Extract Transform Load）工具把旧系统中历史数据抽取、 转换, 并装载到新系统中去。其中ETL工具能够购置成熟产品, 也能够是自主开发程序。这种方法是数据迁移最关键, 也是最快捷方法。其实施前提是, 历史数据可用而且能够映射到新系统中。数据抽取、 转换是依据新旧系统数据库映射关系进行, 而数据差异分析是建立映射关系前提, 这其中还包含对代码数据差异分析。转换步骤通常还要包含数据清洗过程, 数据清洗关键是针对源数据库中, 对出现二义性、 反复、 不完整、 违反业务或逻辑规则等问题数据进行对应清洗操作, 在清洗之前需要进行数据质量分析, 以找出存在问题数据, 不然数据清洗将无从谈起。数据装载是经过装载工具或自行编写SQL程序将抽取、 转换后结果数据加载到目标数据库中。2) 系统切换前采取手工录入在系统切换前, 组织相关人员把需要数据手工录入到新系统中。关键是部分无法转换到新系统中数据, 和新系统启用时必需要而旧系统无法提供数据采取这种方法。3) 系统切换后经过新系统生成在系统切换后, 经过新系统相关功效, 或为此专门开发配套程序生成所需要数据。通常依据已经迁移到新系统中数据来生成所需信息。其实施前提是, 这些数据能够经过其它数据产生。2.3 数据迁移回退方法假如割接不成功, 应恢复到割接前状态或其她预备方案。当发觉该步骤不能完成时, 或者中途出现异常故障且无法在预定时间内恢复时, 那么就应该进行回退处理, 将数据及其她相关信息恢复到数据迁移前状态。2.4 数据迁移后校验在数据迁移完成后, 需要对迁移后数据进行校验与测试工作, 以确保数据迁移成功率。数据迁移后校验是对迁移质量检验, 同时数据校验结果也是判定新系统能否正式启用关键依据。能够经过以下两种方法对迁移后数据进行校验。1) 对迁移后数据进行质量分析能够经过数据质量检验工具, 或编写有针对性检验程序进行。迁移后数据校验指标关键包含五方面: 完整性检验, 引用外键是否存在; 一致性检验, 相同含义数据在不一样位置值是否一致; 总分平衡检验, 比如协议款指标总和与分科室不一样粒度累计对比; 统计条数检验, 检验新旧数据库对应统计条数是否一致; 特殊样本数据检验, 检验同一样本在新旧数据库中是否一致。2) 新旧系统查询数据对比检验经过新旧系统各自查询工具, 对相同指标数据进行查询, 并比较最终查询结果; 先将新系统数据恢复到旧系统迁移前一天状态, 然后将最终一天发生在旧系统上业务全部补录到新系统, 检验有没有异常, 并和旧系统比较最终产生结果。