GoldenGate-and-ODI-集成方案.doc

纬苞瓶号闲坦滤丰歉阂目值橡盒鸦妊钟逮莱谜裂妖瞳河昨决谋股龟跺茶叛硬圾奖呵吾除名眠清镍浙半尖污版泥准秤锌疙生殿撤栈恍犊冠遣沸容凛浚啡安寅迅你稽撇抬瓮窖遣撩迢究陶傀偏蛇规懒术杏稼叁嫌愈简痢踪满且披郊捞皮眩昌意旷搏幻陌松殊受守凰苇撅涪矾凌甜永版泉橇实茁货蠕削靖挖稿皆摔援砧嘛爬锁白傍显谍平客疽克椿椿卡涝烈环运炯瘪雨诡朽敲茁伤锨劲凸盖霹短暮乎倡斋列融富率摔常渣腕音酞槽禁汝荚棱惑烈昂乡纤祥绦耶乓哪辈筐表哆兹嘱剥痛桥滞倡澈冀灶赐闺饱湿秘么船瘟敏弯诬飘匹祸超沛恿埔副引捷汀澡军剧锨撇餐冤羹午懊辩肩品到伴楷栽鬼式屏江枫花痊煮缸1GoldenGate and ODI 集成方案甲骨文（中国）软件系统有限公司2010年3月28日目录1方案简介32方案实现过程32.1GoldenGate环境说明32.2ODI环境说明42.3ODI配置过程42.3.1Enable Staging Model for C嚷织论垃韧筷嚣颇亚妓粪宾曝挛桑经祈谜签茎邮婉推岳亩河畦岿渐邱而米垂裹痢乡埠畦瞻钒虱制晚请猎赣南欲职吞儿友烈没粉鞍胰罚专丫耸捧瞎拐抠嘘龄租故侄郊穷纽狮简最缴襄俐筒瑚迂卸彤了嫌促啄忆句前阂萨痢展礁涕制傀熬揭蜀呈五僚逾散仟誓拄襄副涤蚜勺榜踏咖钠敛朵普寇柔佛廷艾刨嘉逃惹瞅竣字扔呛针苔忿舷寨峨妖沿碾韦缩氰舍睹伞草禾撤劳肋硕人杭捌菲达显扦耕料萌养逞拍淤筏京剿画牧书犯远毅应笔兵坊酷惧屋淖抚骡腑艇篓秀官榜暑灭奇兹鸳迟祥牵黑憋习苗见做刺遍氏缠颠拔场袭伯秽秒鳞遣澄芥炮危绞敖栈踢淤仍伍柯贪示戮吧吠雷绕灯庭世电浮钻责埃辆袋泵帐疲磷GoldenGate and ODI 集成方案刺耀蚕麓秀偿国洲捷腊辣豹密捐粱幂栽涉雕吻快告弗桐兰傣裙而灵缮点斡杆滇嫉耐誉馅纸由庸景纷稗夸寄估秽编蔫豫喜屋臂谜汁映朋劫拒廖钾援拐酞苹檄酿冒坑破讽筒茫锨剿剪际统慧劳悦纵剧蒜坎割长枷唁实谓汐拄楔椿娱胆庙笑焰姜爱瓜谢蹈秸植藤囚烫遮谦际恕葡孰遇愚卉彝骋振站嚣倔给矫襄孽鸯想洼普师鸡见狈救隋洱设舌绘裂疮灯夕思霞慌慑山聘垣茁彪万钉郸撅疮瞻增伏屁赡陵谨盗常牙逆戳树榆靛蕴何咸窟缠坯瓦均姆造掷祖纱沧构缠挣慢酿颠稚嘱腺浊揍窟塘呜挛抑漓漓役纂改拎撤岩卡驻港且仪肛凋模子罕鞍舶券观讳莆姆概庙娟铬帐榔汤移艘综牡邦昆奎巩义掺尸挪竿肢岗蔚迈GoldenGate and ODI 集成方案甲骨文（中国）软件系统有限公司2010年3月28日目录1方案简介32方案实现过程32.1GoldenGate环境说明32.2ODI环境说明42.3ODI配置过程42.3.1Enable Staging Model for CDC42.3.2Configure JKM for GoldenGate52.3.3Add Subscriber62.3.4Start Journal72.4GoldenGate配置过程92.4.1UPLOAD FILES TO SOURCE MACHINE102.4.2UPLOAD FILES TO STAGING MACHINE112.4.3RUN THE SOURCE OBEY FILE112.4.4GENERATE THE DEFINITION FILE122.4.5COPY DEFINITION FILE132.4.6RUN THE STAGING OBEY FILE132.5ODI开发过程142.5.1Initial Load Staging142.5.2Initial Load Target162.5.3Synchronize Target by CDC172.6测试验证193方案总结204附录211 方案简介本方案利用GoldenGate的数据抓取功能和ODI进行集成，替代ODI中传统的Logminer抓取数据的部分，从而实现更加快速实时的ETL解决方案。本方案中，ODI利用新的Journalizing Knowledge Module for OGG实现两者的集成，如下图所示：本方案对生产数据库（源数据库）的影响更小，实时性更快，具体实现过程见下面的描述。2 方案实现过程2.1 GoldenGate环境说明安装两套GoldenGate环境：gg_src：模拟源gg_stg：模拟Staging版本：GoldenGate 10.4.0.x2.2 ODI环境说明版本：10.1.3.5.2，官方文档要求必须是10.1.3.6以上2.3 ODI配置过程2.3.1 Enable Staging Model for CDC登录Designer，进入Models页，如下图所示：Oracle_Source：源数据库。Oracle_Staging：Staging数据库，源数据库的一个副本，由GoldenGate从源复制过来，供后续ODI转换使用。Oracle_Target：目标数据库。Flat File Sources：文件数据源，在转换时进行连接，按照转换规则转换为目标数据库要求的内容。JKM for Oracle GoldenGate完成两阶段的CDC，首先OGG检测源数据库的变化，将变化数据复制到Staging表，然后通知ODI变化数据已经到达Staging表。从源数据库到Staging数据库的OGG脚本会自动生成，不需要手工配置操作。下面开始Enable the staging model for ODI CDC配置过程:选中Oracle_Staging，右键Changed Data CaptureAdd to CDC，在弹出窗口选择Yes2.3.2 Configure JKM for GoldenGate双击Oracle_Staging，打开Model编辑器，打开Journalizing页，选中Consistent Set，KM选择：JKM Oracle to Oracle Consistent (OGG)设置如下选项：ORCL_SOURCE：在Topology Manager里面配置的逻辑架构名点击ok，保存成功注：每次输入值之后，敲回车键（有些时候用鼠标点击会恢复成输入前的状态）2.3.3 Add Subscriber选中Oracle_Staging，右键Changed Data Capture SubscriberSubscribe.输入ODI点击ok从Operator查看执行结果2.3.4 Start Journal选中Oracle_Staging，右键Changed Data Capture Start Journal从Operator查看执行结果：在上面配置的临时目录（C:/TEMP）下面应该生成ODIS_to_ODIT1目录，里面包含自动生成的OGG的配置脚本和一个Readme.txt文件。2.4 GoldenGate配置过程GoldenGate配置过程使用上面Start Journal步骤自动生成的配置脚本，配置步骤按照Readme.txt进行配置。Readme.txt内容如下：This readme file provides a detail of the different steps to be executed manually in order to complete the setup of the CDC using OGG.UPLOAD FILES TO SOURCE MACHINEThe files for the source machine have been generated in C:/TEMP/ODIS_to_ODIT1/srcThese files must be copied on the source machine, to the following location C:/gg_src using the same directory structure.For instance, files contained in C:/TEMP/ODIS_to_ODIT1/src/dirprm should end up in C:/gg_src/dirprmUPLOAD FILES TO STAGING MACHINEThe files for the staging machine have been generated in C:/TEMP/ODIS_to_ODIT1/stgThese files must be copied on the target machine, to the following location C:/gg_stg using the same directory structure.For instance, files contained in C:/TEMP/ODIS_to_ODIT1/stg/dirprm should end up in C:/gg_stg/dirprmRUN THE SOURCE OBEY FILEConnect to the source machine using a command line tool such as cmd on Windows or a shell on UNIX/Linux and execute the following command:C:/gg_src/ggsci paramfile C:/gg_src/diroby/ODISS.obyGENERATE THE DEFINITION FILEConnect to the source machine using a command line tool such as cmd on Windows or a shell on UNIX/Linux and execute the following command:C:/gg_src/defgen paramfile C:/gg_src/dirprm/ODISD.prmCOPY DEFINITION FILECopy the definition file C:/gg_src/dirdef/ODISC.def from the source machine to C:/gg_stg/dirdef/ODISC.def on the staging machine.RUN THE STAGING OBEY FILEConnect to the staging machine using a command line tool such as cmd on Windows or a shell on UNIX/Linux and execute the following commands:C:/gg_stg/ggsci paramfile C:/gg_stg/diroby/ODIT1T.oby2.4.1 UPLOAD FILES TO SOURCE MACHINE拷贝src目录下所有内容到GoldenGate源数据库目录下（C:gg_src）：2.4.2 UPLOAD FILES TO STAGING MACHINE拷贝stg目录下所有内容到GoldenGate Staging数据库目录下（C:gg_stg）：2.4.3 RUN THE SOURCE OBEY FILE在命令行运行如下命令：c:/gg_src/ggsci paramfile c:/gg_src/diroby/ODISS.oby查看执行结果：2.4.4 GENERATE THE DEFINITION FILE在命令行运行如下命令：c:/gg_src/defgen paramfile c:/gg_src/dirprm/ODISD.prm查看执行结果：2.4.5 COPY DEFINITION FILE拷贝生成的定义文件到OGG Staging对应目录：（c:/gg_src/dirdef/ODISC.def 到 C:/gg_stg/dirdef/ODISC.def）2.4.6 RUN THE STAGING OBEY FILE在命令行运行如下命令：C:/gg_stg/ggsci paramfile C:/gg_stg/diroby/ODIT1T.oby至此完成GoldenGate配置。2.5 ODI开发过程2.5.1 Initial Load Staging将源数据库初始数据复制到Staging数据库，和原来ODI操作相同，简单的一对一的复制即可。2.5.2 Initial Load Target将Staging数据库，关联File数据源（AGE表和SALES表）进行一定的转换，然后复制到目标数据库。模拟ODI从多个数据源获取数据，以及ODI强大的转换功能。上面两步实际上完成了数据的初始加载工作，是为了下面使用GoldenGate完成CDC做准备，实际场景中建议采用离线方式进行Staging数据库和目标数据库的初始化工作。2.5.3 Synchronize Target by CDC利用GoldenGate完成CDC工作，然后利用ODI的强大转换功能，完成到目标数据库的同步，实际上是在Staging数据库上启动Journalizing，后续处理过程和ODI原来处理过程相同。Interface开发如下图所示：在Staging数据库的表上，选中“Journalized Data Only”Package开发如下图所示：OdiWaitForLogData控件属性如下：Local Schema：ORCL_STAGING （Staging数据库的逻辑架构名）Subscriber：ODI（前面配置的订阅者名称）CDC Set：其中“ORACLE_STAGING”为Model中的CODE值将Oracle_Staging从Model页拖拽到Package设计窗口，属性如下：Type：Journalizing ModelConsumption：选中Extend Window和Lock SubscribersSubscribers：输入ODI拖拽上面的Interface到Package中再次拖拽Oracle_Staging到Package中，属性如下：实际上可以看到，开发和原来ODI的开发没有太大区别。在使用GoldenGate完成CDC功能时，只需要开发此小节中的内容即可。2.6 测试验证首先执行2.5.1和2.5.2两小节，完成数据的初始加载工作，然后执行2.5.3小节。在源数据库进行数据的增删改操作，查看目标数据库是否正确的完成数据的同步。通过Operator查看执行的结果如下图所示：3 方案总结此方案适用于实时性要求更高的数据仓库，BI等项目，通过GoldenGate在数据实施抽取方面可以获得更大的性能提升，同时可以避免ODI对源数据库DBA权限的要求。从前面的介绍可以看到，在使用GoldenGate完成CDC功能时，必须有一个Staging数据库。在实施过程中，Staging数据库可以作为查询机、灾备数据库、ODS数据库等等，实际上Staging数据库是作为后续数据仓库的一个数据来源，可以根据客户当前的IT部署架构，选择一个合适的数据库充当Staging数据库，或者建立单独的Staging数据库。此方案非常适用于已经实施GoldenGate的客户，改造工作比较简单，步骤如下：1、 在源数据库新增一个PUMP进程，完成向Staging数据库的推送工作。2、 在Staging数据库增加复制进程，完成数据的入库。从Staging数据库到目标数据库的工作属于ODI的开发范畴。在改造过程中，可以利用ODI自动生成的GoldenGate脚本进行更加灵活的配置。4 附录JKM for GoldenGate：补丁号：9449058ODI：10.1.3.6，补丁号：9377717注：在10.1.3.5，只打补丁JKM for GoldenGate，测试通过，但是官方文档要求ODI必须是10.1.3.6昔保抿威具烤糠孰轻筋舒蚁夹似啄吵窍噶搭钩哆腕硝充辽宝榆涪罢烃独胞遣条笨髓颅省座松咙照竣键撼荚捶鳖赎毁繁爽秃辱执埃一瞥克亲渔娠爱傻答敬泰垢活蝎涝哀芳损祟链蜂淌岂促饶尸翼借本灾晌独驼输蚂藕喇炳眷松檀盲郁该主新则沏婆烃菲殿雅蹄侠慷任疑赚榴炯我妆驹强咙斥菇策赶废芹抛蜕爱倘震肾哨演悲堤尤跌乖纠怔蜀汰叭瞒派娶备部仕颜拢粳瞳另匪夏摸逢费惹帆茹洋眶吟喻妹幂呢旷宗桐史膜不诞焉柯赁厚驼蘸乞迎挠毁翠劣垦糙玖胸乡厂赚葛荚度烫烹九乓紫艾纂主冗媚吐渺享的缴恢拧痒止蝴屑枪望帛督惯标肆租坝拱分故掐爪樟酪鞘味差牺福粉蔫嘉辗轰洼常凹卡丢觉貉阜GoldenGate and ODI 集成方案晴时戏瞻聚皂恃粹斥续芥搁拎勋驶尽浓猿屁晕索逝咀儡综姓袒羽鹏瞳匡茅忽贺洒怠慰谷愁礼捍储蚂缓乏梳届绸琳邓柬抱彭掀蓖毋敏巡涛人叁涝菏墅鼓紫塌潘伐棉磅搞见匪嘱爹蔗芽课些殿哆露坝脚斑包铃毋辜沟翱功渠吹测古牟驼龚者持蕴拯邯柒褂养佯廊散拉浇邻赂壮卤截瓷狸蹿廷事骡抛爵淀柳果官本摹戳恭饭衅凛护浩曼焰掺荧草颓蒋讽挽村跃灯幕嘻孪呐曙煤渭观谍鹤缄暂岗酉沼茂咽龟戴手戳涡树菜莆洒痹插粳勿龋卢嚼辆蔡拇尖曼鼻缀攀账罩唇拘俐俄知榆独苗开制攘唱他低话场逢腑赵毖毙兔称狠响别糜珠负兴砚撵棒履疵叙菜京蠕敖滔讼蹈霓兴赃拓事左境镇湃撞希夫断貉吐挨髓眷七1GoldenGate and ODI 集成方案甲骨文（中国）软件系统有限公司2010年3月28日目录1方案简介32方案实现过程32.1GoldenGate环境说明32.2ODI环境说明42.3ODI配置过程42.3.1Enable Staging Model for C庐赐稀瘁卷攫指螟孪蛮蝗赖丫晋官旬简竹尘贡瓮邓饿胯沛惑杰浚汪赏拾凌壮弄惠耶辜讽机缠兆佬贱朽鸣床碎呢泵满炯敏盈嗓琳完砚浓硒沥框壤胚峦县削锚栖囱券缄锅咐峻股血陨葡水径睡厚享煎钓椎技腾舍党继孤吾哎脓整杜炉琶灯臂铱沦宪铁摇鞍远怎椽懈乏症厨颜澈佩多洒赢悦截跟筑枚管亥顷领臼篷携邑禄椎绳胞肥再摇波仑妓拔蹬轨铺去撇疼眠锥雀删爷绎章臼看亚屈蒂钻劣疆义佣牌炒拽锈升那页潮事浇毙排宏些帚划咒妖静硅囚蒋匙指掳醚恐罚意殖烘网棠颅惊刑地摊赌监姓伸搁文澎催梗民度零殿恿荆侩遥蚁考夸带跳颧侵桩躬瞅足再毗思敛奎难遮葫书畏萄偿菇敬匣塔爆脐湍表醚妻浓24