KETTLE组件介绍与使用.doc

KETTLE组件介绍与使用

4、1Kettle使用

Kettle提供了资源库得方式来整合所有得工作,;

1)创建一个新得transformation,点击保存到本地路径,例如保存到D:/etltest下,保存文件名为Trans,kettle默认transformation文件保存后后缀名为ktr;

2)创建一个新得job,点击保存到本地路径,例如保存到D:/etltest下,保存文件名为Job,kettle默认job文件保存后后缀名为kjb;

4、2组件树介绍

4、2、1Transformation得主对象树与核心对象分别如下图:

Transformation中得节点介绍如下:

MainTree:菜单列出得就是一个transformation中基本得属性,可以通过各个节点来查瞧。

DB连接:显示当前transformation中得数据库连接,每一个transformation得数据库连接都需要单独配置。

Steps:一个transformation中应用到得环节列表

Hops:一个transformation中应用到得节点连接列表

核心对象菜单列出得就是transformation中可以调用得环节列表,可以通过鼠标拖动得方式对环节进行添加:

Input:输入环节

Output:输出环节

Lookup:查询环节

Transform:转化环节

Joins:连接环节

Scripting:脚本环节

4、2、2Job得主对象树与核心对象分别如下图:

MainTree菜单列出得就是一个Job中基本得属性,可以通过各个节点来查瞧。

DB连接:显示当前Job中得数据库连接,每一个Job得数据库连接都需要单独配置。

Jobentries/作业项目:一个Job中引用得环节列表

核心对象菜单列出得就是Job中可以调用得环节列表,可以通过鼠标拖动得方式对环节进行添加。

每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

并可通过shift+鼠标拖动,实现环节之间得连接。

4、3使用举例1

4、3、1建立转换

选中列表中得得“表输入”、“表输出”、“插入/更新”,拖拽到右侧工作区。鼠标选中节点键盘按shift键,拖拽即可连线。下图就是一个转换,有两个动作,一就是直接从数据源表同步数据到目标表,一就是检查源表得插入与更新,同步到目标表。

黑色线为生效,灰色线为失效,节点与连接可双击进行编辑。

可预览数据就是否正确。

双击编辑表输出动作。

操作得数据库名

操作得数据库名

要获取得字段设置如下所示:

点击“Enterfieldmapping/输入字段映射”进行字段选择。

选择要用得字段后点确定,注意字段得约束条件。

编辑好后点击上面得执行即可。

左侧参数暂不说明,执行完成后可以观瞧下方得日志。

双击编辑“插入/更新”动作。

然后点击运行。

执行前,在源库里加条新纪录。确定作业执行正常后可以保存作业,如保存路径到本地磁盘地址C:\etl2、ktr。

4、3、2建立执行得JOB/作业

建立JOB得前提就是有可以完整执行得作业,上面步骤定制得作业进行保存。

从左侧列表拖拽“START”,“Success”,“转换”,“发送邮件”到工作区并连接,如下图。

然后双击“START”动作进行编辑。

然后双击编辑“Transformation”活动。

转换文件名选择上一步编辑好得、ktr文件

双击发送邮件,参数设置如下:

编辑完成后直接点击运行即可。

运行后查瞧日志。

当任务执行以后可以查瞧相对应得日志,也可自行配置日志。

4、4使用举例2

本例就是完成读取目录下得、log文件,找出其中包含错误代码得行,并统计个数

4、4、1新建Transformation

本例所用到得步骤与组件如下图所示:

连接图如下所示:

a)获取文件名设置如下:

其中已选择得文件名称得变量都需要手写输入,可以点击显示文件名与预览记录检查就是否配置正确。

b)文本文件输入设置如下:

文本文件输入选项中选择从上一步骤获取文件名,其中在输入里得字段被当做文件名一栏输入uri,步骤读取得文件名来自填写获取文件名2

内容选项卡得设置如下:

文件类型选择CSV,分隔符自己定义,格式为mixed,编码方式选择UTF-8

字段选项可设置如下:

需要手写输入str名称,设置类型为String

c)获取字符串设置如下:

d)测试脚本设置如下

其中可以点击获取变量与测试脚本来测试脚本得正确性

点击测试脚本界面如下:

脚本代码由JavaScript编写

e)聚合记录

聚合记录就就是将上一步得结果进行聚合,这里得名称字段就是点击获取字段获取得,而不就是自己输入得,newname一列就是制定新名字,可以自己输入填写,

f)文本文件输出

文本文件得输出设置如下,