kettle公司内部培训手册.doc.pdfVIP

Kettle 培训手册 一、 Etl 介绍 ETL （Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于 金融 IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种 etl工具的使用，必不可少。 Kettle是一款国外开源的 etl工具，纯 java编写，绿色无需安装，数据抽取高 效稳定。 Kettle中有两种脚本文件， transformation和job ，transformation完成针 对数据的基础转换， job 则完成整个工作流的控制。 二、 kettle 部署运行 将 kettle2.5.1文件夹拷贝到本地路径，例如 D 盘根目录。 双击运行 kettle文件夹下的 spoon.bat文件，出现 kettle欢迎界面： 稍等几秒 选择没有资源库，打开 kettle主界面 创建 transformation，job 点击页面左上角的创建一个新的 transformation，点击保存到本地路 径，例如保存到 D:/etltest下，保存文件名为 EtltestTrans，kettle默认 transformation 文件保存后后缀名为 ktr 点击页面左上角的创建一个新的 job ，点击保存到本地路径，例如保 存到 D:/etltest下，保存文件名为 EtltestJob，kettle默认job 文件保存后后缀名为 kjb 创建数据库连接 在transformation页面下，点击左边的【 Main Tree】，双击【 DB连接】，进行 数据库连接配置。 connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的 ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置： 点击【 test】，如果出现如下提示则说明配置成功 点击关闭，再点击确定保存数据库连接。 一个简单的 ktr 例子 目的： 将一个数据库导入到另一个数据库中。 操作步骤： 创建一个 transformation，命名为 etlTestTrans.ktr，创建数据库连接 ods，点击【 Input】，选中【表输入】，拖到主窗口，释放鼠标，双击打 开 如下图 点击【 Transform】，选中【字段选择】，拖到主窗口，释放鼠标 点击【 Output】，选中【表输出】，拖到主窗口，释放鼠标 建立【文本文件输入】和【字段选择】与【字段选择】和【表输出】的连接 双击【表输出】，目标表中写入 ZT_TEST_KETTLE ，，确定保存 双击【字段选择】，点击 获取选择的字段，再点击 Edlt Mapping ，点击 OK 确定，编辑所有字段对应关系，点确定。 点击 运行这个转换。，则将上一个 ktr 中生成的文本，导入到数据库当中。 一个简单的 kjb 例子 目的： 将上一个 transformation在一个 job 里面调用执行。 操作步骤： 在etlTestJob页面，点击【 Core Objects】，点击【 Job entries】，选中【 START 】 拖动到主窗口释放鼠标，再选中【 Transformation】，拖动到主窗口释放鼠标， 建立【 START 】和【Transformation】之间的连接。 双击【 Transformation 】， 在Transformation filename 中写入 E:\kettleWorkspace\etlTestTrans.ktr，确定保存。 点击 保存创建好的 job 。 点击 运行这个转换。 待所有任务都显示成功，则为 job 调用 transformation运行成功。 一个增量的例子