数据迁移工具汇报.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据迁移工具,系统概述,1,技术方案,2,功能介绍,3,系统特点,4,在油田信息化建设中，数据是核心关键，是信息化建设最有价值的,资产。而,将业务应用产生的有价值,的数据，在整个油田信息网中可控,、及时、安全的流转，是避免数据孤岛的关键。,数据及业务人员在,数据管理,过程中，经常要面对的是数据的迁移、数据的备份、数据的清洗及数据的同步等需求。而如果利用数据库现有功能去实现，技术要求高、操作复杂、灵活性差、功能受限。,一、系统概述,项目背景,目前常规数据迁移的方法一般有三种：,开发专用的迁移程序,优点是操作简单，操作人员只需要会使用迁移软件即可。缺点是需要一定开发周期，需要研发人员配合，灵活性差，需求一旦变更，程序就要改造。,借助,Oracle,等数据库的功能实现,需要专业的数据库管理员或数据库开发人员才能实现，技术要求高，且难以实现不同类型数据库之间的迁移。,采用,GoldenGate,等第三方的迁移软件,优点是功能相对完善，效率高。缺点是配置复杂，一般业务人员难以掌握，按点收费，费用高昂。,项目背景,一、系统概述,通过对相关业务分析，,XX,数据迁移工具设计主要具备三大功能，即数据迁移、数据同步、文件导入。数据迁移应该具备以下特点：,易用性好，完全的可视化操作界面，方便上手。,功能强大，可满足数据管理中的各种数据迁移需求。,运行稳定。,高效。,设计目标,一、系统概述,如何支持不同类型数据库之间的数据迁移及同步。,如何,支持数据库结构不同时，数据的迁移及同步。,如何,支持在迁移及同步过程中做复杂的数据处理及转换计算。,怎么解决数据增量同步，并确保高效及实时性。,如何实现软件的易用性。,技术难点,一、系统概述,系统概述,1,技术方案,2,功能介绍,3,系统特点,4,二,、技术方案,开发一套定制工具，制定一些对应规则，实现不同的数据库、不同的表结构之间对应关系的建立,。通过引擎调用不同的底层驱动，实现不同数据库之间的数据迁移,。,设计思路,数据质量检查,源库,解析引擎,数据对应规则,目标库,目标,数据,事件操作,二,、技术方案,数据库管理员,业务人员,应用程序,应用程序,数据迁移工具,UI,界面,数据迁移服务接口,数据迁移工具,界面定制引擎,功能调度引擎,多线程调度引擎,日志记录引擎,自动运行引擎,异常处理引擎,数据库操作引擎,Oracle,引擎,SQLServer,引擎,Access,引擎,DBF,引擎,Excel,引擎,功能,操作引擎,数据迁移引擎,数据同步引擎,文件导入引擎,数据库,整体技术架构,TCP,通信引擎,二,、技术方案,数据操作流程,用户,制定,迁移规则,异常监控,实时反馈,日志记录,数据迁移工具,规则,解析,数据,分量加载,数据迁移,前处理,数据迁移,完成数据迁移,后,处理,数据迁移、同步及文件导入均遵从此流程。,二,、技术方案,软件部署,源数据库,数据迁移,工具服务器,目标,数据库,数据迁移工具可部署在局域网内的任何一台机器上，源与目标数据库均不需要安装任何软件，也不需要变动任何库结构，只需提供访问帐号即可。,二,、技术方案,数据访问模式,数据迁移工具,工厂设计模式,Oracle,驱动,SQLServer,驱动,ACCESS,驱动,OLEDB,驱动,Oracle,SQLServer,ACCESS,Excel,其它,数据操作,基于工厂的软件设计模式，实现了对各种不同数据库的支持，如果要增加新的数据库支持，系统变化很小。灵活性及可扩展性好。,二技术方案,关键技术,多种数据库类型支持,数据处理或转换支持,虚拟,表、存储过程支持,大字段分段迁移,数据分页迁移,系统概述,1,技术方案,2,功能介绍,3,系统特点,4,数据迁移系统,数据迁移功能,数据同步功能,数据库管理,表对应,管理,字段对应,管理,任务管理,运行日志管理,数据库,管理,字段对应,管理,表对应,管理,运行日志管理,条件迁移,增量迁移,触发器同步,Oracle,日志同步,手动运行,远程调用,文件数据,操作,功能,文件,导入规则管理,文件操作,运行管理,运行日志管理,自动运行,功能框架图,三、功能介绍,将源数据库现有数据根据设定的筛选条件，按照数据表或是字段对应规则，手动或是自动定时将数据迁移至目标数据库,。,源数据库,迁移规则,要迁哪些表数据,迁移的条件是什么,迁移数据是否要预处理,什么时候开始迁移,出现异常怎么处理,是否要检测库结构一致性,源与目标表对应关系如何,目标,数据库,规则解析,迁移事件,任务运行,异常处理,数据处理,迁移引擎,数据抓取,数据写入,日志记录,1,、数据迁移,模块说明,三、功能介绍,运行,结果,Oracle,源,库,解析引擎,数据对应规则,Oracle,目标库,目标,数据,事件操作,分页提取数据,迁移流程,三、功能介绍,1,、数据迁移,数据同步是指源数据库发生变动时，目标数据库在最短的时间内同步相应变动。,通过实时捕获变化数据，根据表和字段对应关系将改变的数据同步,到源头数据总库，,实时保持,源,数据库与,目标,数据库,数据,的一致性。,源数据库,目标,数据库,同步规则,要同步哪些表数据,同步数据是否要预处理,出现异常怎么处理,是否要检测库结构一致性,源与目标表对应关系如何,规则解析,同步事件,异常处理,数据处理,同步引擎,数据获取,数据写入,日志记录,三、功能介绍,模块说明,2,、数据同步,归档日志同步,CDC,同步,触发器同步,按照捕获数据变化方式，同步分为解析归档日志同步、触发器同步及,CDC,同步三种模式。,归档日志同步,通过开启数据库归档模式，用户对数据库的变更会自动写入归档日志中，同步工具通过解析日志的方式，将数据变更解析出来，同步到目标数据库中。,触发器同步,通过建立同步表的触发器，将用户对表的各种操作记录到指定的日志表中，通过解析日志表，获取用户数据的变更，实现与目标数据库的同步。,CDC,同步,Oracle,自带数据定阅技术，可将数据变更信息自动同步到别一个用户下，同步软件解析用户的定阅信息，实现与目标数据库的同步。,模块说明,三、功能介绍,2,、数据同步,归档日志模式,技术成熟，数据库各版本支持,成熟的软件均采用此模式,触发器,模式,适用于较少数据量和不频繁变化的数据,需对相关数据表建触发器,CDC,模式,数据库版本有要求，,10g,版本以下效率较低。,10.2.0.2,版本以前存在内存不能释放的,BUG,。,以归档模式为主,模块说明,三、功能介绍,2,、数据同步,解析日志同步中，解析日志和数据入库采用异步模式，避免了网络出现异常后同步数据丢失。,源数据库,数据缓存文件,目标,数据库,解析日志,数据入库,模块流程,三、功能介绍,2,、数据同步,1,、首先通过上次解析的日志文件,SEQ,号判断并获取新增的日志文件列表。,2,、然后通过上次解析日志的,SCN,号判断该日志文件要解析的日志记录。,3,、最后解析日志文件，并过滤解析的日志记录，缓存成多个固定大小的数据文件。,源数据库,归档日,志文件,上次解析,日志,SEQ,要解析的日志,文件列表,上次解析,日志,SCN,解析日志,起始,SCN,数据缓存文件,操作日志记录,同步表对应,关系列表,日志解析,三、功能介绍,2,、数据同步,三、功能介绍,1,、首先通过上次入库的,SCN,号过滤数据，并判断记录数据是否含所有大字段的表。,2,、然后再根据表对应关系判断是否可以直接解析重做,sql,直接入库，如果不能直接入库就要根据唯一健获取源数据。,3,、最后通过表对应关系和字段对应关系入目标库。,源数据库,解析主键,获取数据,上次入库,记录,SCN,入库记录,起始,SCN,数据缓存文件,普通日志记录,简单,对应,含有字段记录,表对应,关系,复杂,对应,源数据,目标数据库,解,析,重,做,sql,语,句,数据入库,2,、数据同步,3,、文件导入,迁移工具的文件操作包括,Excel,文件的导入、导出和,dbf,文件的导入、导出。其中,Excel,文件的导入支持对应关系模板的定制导入，从而支持复杂,E,xcel,的导入功能。,Dbf,导入支持名称模糊匹配功能，实现了,dbf,文件的批量导入功能。,三、功能介绍,迁移工具所有设置和操作都支持可视化，都有相应的界面供用户操作，其中表与表对应关系、字段对应关系等操作支持拖拽设置，符合大多数用户操作习惯，具有用户使用方便、易用、直观等特点。,数据迁移或同步详细日志可视化显示，方便用户随时查看及对对应状态的实时检测。,三、功能介绍,4,、可视化操作,数据迁移工具支持数据迁移过程中用到的迁移参数的设置，包括迁移模式、是否启动多线程迁移等参数。,5,、功能界面,参数设置,三、功能介绍,数据迁移工具是一个综合管理工具，可以同时维护、运行多个不同的数据迁移的,项目,，并通过项目的方式，分类展示出来。,5,、功能界面,数据迁移项目,数据同步项目,项目建立,三、功能介绍,通过数据库对应关系，搭建多个不同库之间的虚拟链路关系，设置数据源与目标。,5,、功能界面,数据库对应关系建立,三、功能介绍,虚拟数据链接搭建好后，需设置表的对应关系，即源表是什么，对应表是什么，表名可不一致，结构也可不同。,5,、功能界面,表对应关系建立,三、功能介绍,支持迁移事件，包括迁移前事件、迁移后事件、插入前事件、插入后事件、修改前事件、修改后事件，事件中支持执行,sql,语句和存储过程。,5,、功能界面,迁移事件设置,三、功能介绍,如果源数据来源比较复杂，需要通过,sql,语句来获取或是通过存储过程来获取，就需要建立虚拟表。,5,、功能界面,虚拟表建立,三、功能介绍,表对应关系搭建好后，需设置字段的对应关系，即源表是什么字段，对应目标表是什么字段，支持字段的计算及合并。,5,、功能界面,字段对应关系建立,三、功能介绍,字段设置中支持普通字段、常量、,sql,表达式（源）、代码转换、随机,Guid,、,sql,表达式（目录）等类型。,5,、功能界面,字段设置,三、功能介绍,设置迁移条件，只把满足要求的数据迁移过去，支持变量替换，支持字段拖放操作。,5,、功能界面,迁移条件建立,三、功能介绍,对于一个项目可定制多个任务，任务触发条件可不一样，运行时间也各自独立控制。,5,、功能界面,任务定制,三、功能介绍,对于已经制定任务的运行、启闭操作。对数据迁移运行信息进行详细的查询。,5,、功能界面,任务调度,三、功能介绍,数据迁移同步工具保存着所有数据表同步运行详细日志，用户可以按照日期对日志进行分页查询。,5,、功能界面,日志查看,三、功能介绍,自动,调度状态,中显示任务或是同步运行详细信息，包括任务下次运行时间、上次运行结果和同步实时运行状态及结果等信息。,5,、功能界面,任务调度状态,三、功能介绍,迁移工具还支持远程调用功能，通常为了迁移工具运行的稳定性，会把迁移工具部署到服务器上，这样用户操作不太方便，所以迁移工具提供客户端远程调用工具，来运行迁移任务。,5,、功能界面,任务远程调用,三、功能介绍,文件操作包括,Excel,、,DBF,文件的导入与导出，其中,Excel,的导入通过模板定制功能支持复杂格式的导入。,5,、功能界面,文件操作,三、功能介绍,系统概述,1,技术方案,2,功能介绍,3,系统特点,4,灵活性,a,（,1,）支持多种类型数据库间数据迁移或同步。,（,2,）支持不同表结构或是多表间数据迁移和同步。,（,3,）支持迁移表分任务灵活的设置定时自动迁移,。,（,4,）支持迁移时数据的处理及不同代码自动转换。,（,5,）,支持视图、同义词、虚拟表（,sql,语句、存储过程表）作为源表的迁移。,四、系统特点,灵活性,a,安全性,b,（,1,）数据迁移对源库只是读取数据，所以只要有只读,权限帐户即,可。,（,2,）迁移工具只是操作数据，不会对目标库的,表结构及数据造成,影响。,（,3,）迁移工具可以支持只插入模式，只会插入数据不会修改目录库已有数据,。,（,4,）迁移工具有详细的日志记录。,四、系统特点,灵活性,a,安全性,b,高效性,c,（,1,）数据迁移工具支持迁移表和字段的自动对应和对应模板,Excel,导入、导出，提高用户设置的高效性。,（,2,）数据迁移工具支持多线程，大数据量分页读取、大字段内容分段读取等功能，提高数据迁移效率，局域网内可以达到迁移每秒千多条数据,。,（,3,）迁移工具支持增量数据迁移及同步。,四、系统特点,灵活性,a,安全性,b,高效性,c,稳定性,d,（,1,）迁移工具在迁移数据时，如果某个表或是某条数据迁移出错，不会影响到整个迁移工具崩溃，迁移工具有很好的容错功能。,（,2,）数据同步不会因为迁移工具某段时间不运行而遗漏数据，工具会同步上次时间运行后所有改变的数据。,四、系统特点,灵活性,a,安全性,b,高效性,c,稳定,性,d,易用性,e,四、系统特点,对用户使用习惯以及数据迁移流程进行详细的调研、分析，对设计界面进行了优化处理，普遍,使用可视化拖,拽设置方式，强化迁移工具的易用性、简便性及智能性。,系统概述,1,技术方案,2,功能介绍,3,系统特点,4,五,、成功案例,新疆油田油水井录入系统（,A2,）新老数据迁移,新疆油田,A2,系统升级，重新设计了数据库，新老数据库结构存在较大差异、数据库代码不一致、数据量大、表合并及折分等特点，,XX,数据迁移工具成功的将,A2,全部数据，成功迁移到新系统中，确保,A2,系统的成功升级。,五,、成功案例,胜利地质油藏模型库系统,胜利油田地质油藏模型库系统升级，数据库进行了重新设计，数据结构存在很大差异。同时要将原库中的,BLOB,字段迁移时全部另存为文件，原库中只保留文件索引。,XX,数据迁移工具很好的实现了对模型库数据迁移的支持。,五,、成功案例,中石化油气生产运行集成系统,中石化油气生产运行集成系统要求将分散在各油田每天产生的源头数据，定时迁移、同步到中石化总部源头总库，此需求数据量很大、运行频繁、而且各油田数据结构与总部存在较大差异，,XX,数据迁移工具很好的对此需求提供了支撑，每天都需要迁移大量数据，系统成熟、稳定、高效。,五,、成功案例,中石化工程院数据清洗系统,根据,中石化,工程院,石油工程,数据清洗方法和规则,。通过,XX,数据迁移工具，成功的完成了,中,石化企业源头数据库与石油工程应用数据库的数据,清洗,，,清洗过程支持手动与,自动两种。通过审核证明，清洗后数据齐全、转换正确。,五,、成功案例,其它,XX,数据迁移工具在胜利油田、江汉油田、东北局、北京中石化总部及工程院等多家油田及科研单位广泛应用，实践证明，,XX,数据迁移工具可以很好的解决油田企业复杂的数据迁移及同步问题。,请领导专家批评指正,！,谢谢,