DAC使用技能培训PPT课件.ppt

1DAC培训吉贝克信息技术吉贝克信息技术(广州广州)有限公司有限公司2012年年4月月2培培训大大纲什么是DACDAC用户界面DAC框架结构如何部署Informatica Workflow其他功能调度设计与监控1 1 1 1 11 1 1 1 21 1 1 1 31 1 1 1 41 1 1 1 51 1 1 1 63Data Warehouse Administration Console(DAC)，它是，它是Oracle Business Analytics Warehouse architecture中的一部分（如下中的一部分（如下图）。）。什么是DAC4什么是DAC5 它主要用来管理Informatica中的ETL过程，也就是我们在Informatica中设计的workflow，包括workflow的执行计划，全自动的控制Full Load和Increment Load，workflow的参数管理，控制ETL的优先顺序和负载平衡，也可以从工作流的失败点重新启动等。同时也对九据分析仓库进行管理，主要是对表表和索引进行定义，部署和管理，并且监控数据的变化。Informatica的运行需要DAC的支持，通过DAC简单方便的用户界面，我们可以很容易的控制ETL的一个流程，并可以快速的找出和解决错误。下面简单介绍DAC界面操作和基本管理方法。什么是DAC6DAC用用户界面界面安装好DAC后，使用Administrator/Administrator登陆系统，可以看到如下界面。7DAC用用户界面界面切换到Desgin界面，我们可以在这里做主要的DAC设计，主要是对Task,Subject,Areas,Tables等操作8Setup界面界面切换到Setup界面，我们可以对DAC的相关信息进行设置，主要包括DAC System Properties,Informatica Serversm,Physical Data Soures,Email Recipients的配置。9Execute界面界面提供创建，调度，运行和监督执行计划。10 Informatica Workflow需要部署在DAC上，通过DAC来统一创建、调度和监控执行计划。在DAC内部的核心是Table,基于Table再创建Task,Task Group,基于Table会自动生成包含相关Task的Subject Areas。Subject Areas是针对某相关主题所创建的，比如财务应收模块，财务总账模块，这里面包含模块里对应的ETL过程。Execution Plans将各个小模块的主题(Subject Area)组合成一个执行计划。应收和总账都属于财务模块，我们将些主题加入财务执行计划(如：Oracle R1211 Fin）中统一进行调度。Schedules是针对一个Execution Plans创建Schedule，设置该执行计划的运行周期，如按天，按月，按季度等，并可以设置起始结束日期。DAC框架框架结构构11DAC框架框架结构构如图所示为DAC主要对象的框架图：12如何部署如何部署Informatica Workflow下面介绍如何部署一个Infomatica的workflow到DAC中并进行自动控制。基本步骤如下图所示：13 Setup-配置基本信息配置基本信息使用Administrator/Administrator登陆系统，转到Setup,配置相关信息：配置DAC System Properties:14 Setup-配置基本信息配置基本信息配置Informatica Servers,创建Informatica和Repository,填入Informatica相关信息:15 Setup-配置基本信息配置基本信息配置Physical Data Source,创建源系统连接(ORA_R1211)和分析数据库的连接(Datawarehouse):16Tools-创建Folder通过Tools-Seed Data-Task Logical Folder,.建两个逻辑文件夹(Cux_Extract和Cux_Load)17DAC框架框架结构构通过Tools-Seed Data-Task Physical Folders,创建两个物理文件夹(Cux_SDE_ORAR1211_Adaptor和Cux_SILOS)。注：这里的文件名应该与Informatica中的文件夹名称一致18 File-创建Container通过File-New Source System Container,输入有意义的名称19 Design-创建Source System Folders通过Design-Source System Folders创建逻辑文件夹与物理文件夹的关系：20 Design-引入表，索引，列通过Design-Tables,右键选择Import From Database,引入表：以同样的方式引入索引;为Target Table引入columns;21 Design-引入表索引，列注：有时候引入的时候不能读取到Table的信息，可以使用以下语句重新收集表信息和索引信息。22通过Design-Tasks添加Task。Command for Incremental Load:增量加载，对应的是informatica中增量加载的workflow名称；Cmmand for Full Load:完全加载,对应的是Informatica中完全加载的workflow名称；其他选择对应的信息即可；选择完后点击右键-Synchronize tasks.同步任务，相应的source table和target table被同步到任务中。Design-添加Task232024/3/11 周一2324 Design-添加Task25 Design-添加Task如果所添加的任务.SDE(Source Dependent Extract)过程,勾上Truncate Always26 Design-添加Task如果所添加的任务.SIL(Source Independent Load)过程,勾上Truncate For Full Load27 Design-S添加Subject Area通过Design-Subject Areas创建主题，输入名称后保存，转向下面界面的Table,将这个主题所涉及的table都添加到Subject Area28 Design-S添加Subject Area引入表过后，右键选择Assemble,系统会根据提供的table信息将相关的Task自动加入到该Subject Area中29 Design-添加Source System Parameter通过Design-Parameters可以管理在mapping中使用的参数值；比如说增量抽取中用到的$Last_Extract_Date以及$DATASOURCE_NUM_ID等。30 Execute-添加Execution Plans 通过Execute-Execute Plans创建新的执行计划；如果在Informatica中的数据插入使用的batch mode，则需要把Drop/Create Indices勾上，在ETL过程之前自动删除索引，在ETL过后自动创建索引。31 Execute-添加Execution Plans 通过Execute Plans转到Subject Areas,添加需要执行的主题；通过Execute Plans转到Parameters，点击Generate,自动生成下面的参数，并且给参数指定对应的值：32 Execute-添加Scheduler 通过Execute-Scheduler，创建执行计划的调度管理任务，具体根据自己的业务需求而定。这样一个完整的Informatica Workflow就部署好了。在Run History中可以看到运行的历史情况。33 查看运行历史错误 将Subject Areas添加到Scheduler后，需要定时检查运行情况，有可能出现一些错误。转到Task的Tab界面，筛选出不同类别的Task,根据Details可以判断错误的来源。查看更详细的运行信息可以通赤Informatica Monitor来查看每个Session的日志。34 查看运行历史错误找到对应的Workflow中失败的session,可以看到错误的原因。35 查看运行历史错误 如果要追踪Informatica中每条数据的详细信息，可以在workflow中将Tracing Level改为Verbose Data,运行后可以在$InformaticaHomeserverinfa_sharedSessLogs中查看具体的日志信息。36 查看运行统计信息 通过查看Run History，点击右键Get Run History,查看此执行计划的运行情况，可以根据情况来做一些调整。37 有关DAC配置分区表 在数据仓库中，当一张表的数据量超过1000W，则建议使用分区表，分区可以按照年，季度，月来分区，在BI APPS中建议一下数据表进行分区：38 有关DAC配置分区表1、创建分区表create table W_WRKFC_EVT_MONTH_F partition by range(EVENT_YEAR).2、创建系统参数(system parameter)39 有关DAC配置分区表3、创建Index Actions,使用定义好的parameter40 有关DAC配置分区表4、创建Table Actions,使用定义好的parameter(同上)5、找到对应的index，添加actions6、找到对应的table,添加actions(主要是重新收集表索引信息)7、在workflow relation connection中的OLAP加入以下SQLAlter session set skip_unusable_indexes=true;具体的操作步.可以参考官方文.Oracle.Business Intelligence Applications Fusion Edition Installation and Configuration GuideE12083-0141 调度度监控与控与设计1.Workflows命名规范化2.Workflows任务组合模块化，如财务、总帐模块。3.Workflows之间耦合程度减少，数据流向清晰。4.Workflows之间参数传递单向化，减少网状参数传递。42DAC是一个调度管理工具，它的使用范围也很局限，仅适用于对Informatica 进行调度。所以在学习工具的同时更重要的是注重了解业务,在项目实践积累经验。如有不足和错误之处，请大家指正，以及时更正。总结43The EndThank You!Q&A442024/3/11 周一44