kettle设置循环变量.docx

Kettle 作业步骤循环执行的实现
分类： ETL工具2013-10-25 13:342821人阅读评论(3)收藏举报
场景：User_Tables存放着系统用户的表信息，其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表，使用Kettle实现循环执行这些表。例如统计表A、B的总行数：
[sql] view plaincopyprint?
1. SELECT COUNT(1) FROM A；
2. SELECT COUNT(1) FROM B;
SELECT COUNT(1) FROM A；
SELECT COUNT(1) FROM B;
这些SQL语句除开表名外，其他部分都是一样的，所以在使用KETTLE抽取数据时，Kettle循环抽取这些表的数据。
环境：Kettle4.4
思路：
1、上面的SQL中除了表名不一致外，其他都是一样的。所以首先解决Kettle 表输入中表名替换问题。Kettle提供了设置变量的步骤，可以将查询出的表名作为变量，在Kettle内进行传递赋值。如下图所示：

2、由于Kettle变量一次只能接收一个值，因此若是要执行查询操作的表为两个或者两个以上，就无法直接使用变量来替换${TABLEnAME}。需要一个能够存储多个表名的步骤或脚本实现遍历查询出的表名，并将查询出 来的一个表名设置成变量。

图1 图2
图1：将要执行表名从数据库表中取出来，并复制到trans脚本运行结果中。
图2：【获取表的数量】执行的是图1的Trans脚本，【执行表数量判断和设置变量】步骤获取【获取表的数量】步骤运行的结果，并设置控制循环和表名变量。如下图：

3、循环控制实现，其中步骤【循环控制器】相当于for(int i=0;i<size;i++)循环中i<size;【获取表行数】相当于for循环内部的处理操作；【计数器累加】相当于i++。如下图：

上图中【计数器累加】也实现变量TABLENAME复制操作。

4、整个实现的脚步如下：