KETTLE组件介绍与使用.doc

KETTLE组件介绍与使用
4、1 Kettle使用
Kettle提供了资源库得方式来整合所有得工作,;
1)创建一个新得transformation,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为Trans,kettle默认transformation文件保存后后缀名为ktr;
2)创建一个新得job,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为Job,kettle默认job文件保存后后缀名为kjb;

4、2 组件树介绍
4、2、1Transformation 得主对象树与核心对象分别如下图:

Transformation中得节点介绍如下:
Main Tree:菜单列出得就是一个transformation中基本得属性,可以通过各个节点来查瞧。
DB连接:显示当前transformation中得数据库连接,每一个transformation得数据库连接都需要单独配置。
Steps:一个transformation中应用到得环节列表
Hops:一个transformation中应用到得节点连接列表
核心对象菜单列出得就是transformation中可以调用得环节列表,可以通过鼠标拖动得方式对环节进行添加:
Input:输入环节
Output:输出环节
Lookup:查询环节
Transform:转化环节
Joins:连接环节
Scripting:脚本环节
4、2、2 Job 得主对象树与核心对象分别如下图:

Main Tree菜单列出得就是一个Job中基本得属性,可以通过各个节点来查瞧。
DB连接:显示当前Job中得数据库连接,每一个Job得数据库连接都需要单独配置。
Job entries/作业项目:一个Job中引用得环节列表
核心对象菜单列出得就是Job中可以调用得环节列表,可以通过鼠标拖动得方式对环节进行添加。
每一个环节可以通过鼠标拖动来将环节添加到主窗口中。
并可通过shift+鼠标拖动,实现环节之间得连接。
4、3使用举例1
4、3、1建立转换
选中列表中得得“表输入”、“表输出”、“插入/更新”,拖拽到右侧工作区。鼠标选中节点键盘按shift键,拖拽即可连线。下图就是一个转换,有两个动作,一就是直接从数据源表同步数据到目标表,一就是检查源表得插入与更新,同步到目标表。

黑色线为生效,灰色线为失效,节点与连接可双击进行编辑。

可预览数据就是否正确。

双击编辑表输出动作。
操作得数据库名

要获取得字段设置如下所示:

点击“Enter field mapping/输入字段映射”进行字段选择。

选择要用得字段后点确定,注意字段得约束条件。
编辑好后点击上面得执行即可。

左侧参数暂不说明,执行完成后可以观瞧下方得日志。

双击编辑“插入/更新”动作。

然后点击运行。

执行前,在源库里加条新纪录。确定作业执行正常后可以保存作业,如保存路径到本地磁盘地址C:\ etl2、ktr。
4、3、2建立执行得JOB/作业
建立JOB得前提就是有可以完整执行得作业,上面步骤定制得作业进行保存。

从左侧列表拖拽“START”,“Success”,“转换”,“发送邮件”到工作区并连接,如下图。

然后双击“START”动作进行编辑。

然后双击编辑“Transformation”活动。
转换文件名选择上一步编辑好得、ktr文件

双击发送邮件,参数设置如下:

编辑完成后直接点击运行即可。

运行后查瞧日志。

当任务执行以后可以查瞧相对应得日志,也可自行配置日志。

4、4使用举例2
本例就是完成读取目录下得、log文件,找出其中包含错误代码得行,并统计个数
4、4、1新建Transformation
本例所用到得步骤与组件如下图所示:

连接图如下所示:

a)获取文件名设置如下:

其中已选择得文件名称得变量都需要手写输入,可以点击显示文件名与预览记录检查就是否配置正确。

b)文本文件输入设置如下:

文本文件输入选项中选择从上一步骤获取文件名,其中在输入里得字段被当做文件名一栏输入uri,步骤读取得文件名来自填写获取文件名2
内容选项卡得设置如下:

文件类型选择CSV,分隔符自己定义,格式为mixed,编码方式选择UTF-8
字段选项可设置如下:

需要手写输入str名称,设置类型为String
c)获取字符串设置如下:

d)测试脚本设置如下
其中可以点击获取变量与测试脚本来测试脚本得正确性

点击测试脚本界面如下:

脚本代码由JavaScript编写

e)聚合记录
聚合记录就就是将上一步得结果进行聚合,这里得名称字段就是点击获取字段获取得,而不就是自己输入得,new name一列就是制定新名字,可以自己输入填写,

f)文本文件输出
文本文件得输出设置如下,

其中字段属性得设置名称字段就是点击获取字段自动获取得,不就是输入得,设置如下

g)运行日志显示如下:

4、4、2建立Job
Job得建立于4、3中方法一样,用到得组件如下所示

转换组件设置如下:
将上一步保存得*、ktr添加到转换名文件路径中

点击运行按钮:

生成日志如下所示: