etl利器kettle实战应用解析系列一.docxVIP

ETL利器Kettle 实战应用解析 系列一【Kettle使用介绍】 ETL ( ETL ( Extract-Transform-Load 行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种 etl工具 的使用，必不可少，这里我介绍一个我在工作中使用了 3年左右的ETL工具Kettle,本着好东 西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形 化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检 测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练 的应用它，减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个 .n et研发者 来说唯一的遗憾就是这个工具是 Java编写的。 1、 Kettle 概念 Kettle 是一款国外开源的 ETL工具，纯java 编写，可以在 Window 、Linux 、Unix 上运 行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶， 该项目的主程序员 MATT 希望把各种数据放到一个壶里， 然后以一 种指定的格式流出。 Kettle 这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户 环境来描述你想做什么，而不是你想怎么做。 Kettle 中有两种脚本文件， transformation 和job ， transformation 完成针对数据的 基础转换，job则完成整个工作流的控制。 2、 下载和部署 ?Kettle 可以在 / 网站下载 ? ?下载kettle 压缩包，因kettle 为绿色软件，解压缩到任意本地路径即可 3、 Kettle 环境配置（有Java环境的直接忽略此章节 ） 3、1 安装 java JDK 1 ）首先到官网上下载对应 JDK包，JDK1.5 或以上版本就行； 2）安装JDK ； 3 ）配置环境变量，附配置方式: Java 来说, Java 来说, 最需要设置的环境变量是系统路径变量 path （1 ）要打开环境变量的设置窗口。右击 我的电脑”，在弹出的快捷菜单中选择 属性”选项, 进入 系统属性”对话框，如图所示。选择 ’高级”标签，进入’高级”选项卡，再单击 环境变量 按钮，进入 环境变量”对话框，如图所示： Sts打幵坏境娈#对话框囹口 “系统属性*对话框 Sts打幵坏境娈#对话框 （2 ）在“Administrator 的用户变量列表框中，选择变量 PATH，待其所在行变高亮后， 单击 编辑”按钮，如图所示。 （3）在弹岀的 编辑系统变量”对话框中，将JDK安装路径下的bin目录路径设置到 Path 变 量中，如图所示。 图1」0编辑P 图1」0编辑P池变蚩』 图1,9 JTHPathSffl的骗掘窗口 编辑完后，单击 确定”按钮，进行保存，环境变量Path的设置就正式完成。 注意：设置Path变量的路径，必须是 JDK安装目录中的bin目录，有时候在 JDK安装目录 的同一层会有JRE的安装目录，因此请谨慎选取相关路径，避免将路径设置成 JRE目录下的 bin 目录。 3、2测试JDK配置是否成功 设置好环境变量后，就可以对刚设置好的变量进行测试，并检测 Java是否可以运行。 （1 ）单击 开始按钮，选择 运行选项，在 运行对话框中输入 cmd命令。 （2 ）之后单击 确定”按钮，打开命令行窗口。 （3 ）在光标处输入：javac 命令，按下Enter键执行，即可看到测试结果 3、3 运行 Kettle ?进入到 Kettle 目录，如果 Kettle 部署在 windows 环境下，双击运行 spoon.bat 或 Kettle.exe 文件，岀现如下界面： 这样配置环境这一块基本上就完成了 4、Kettle 使用及组件介绍 ?4.1 Kettle 使用 Kettle 提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以我们选 择没有资源库； ）创建一个新的 tran sformation ，点击 保存到本地路径，例如保存到 D:/etltest 下, 保存文件名为 EtltestTrans ， kettle 默认transformation 文件保存后后缀名为 ktr ； ）创建一个新的job，点击 保存到本地路径，例如保存到 D:/etltest 下，保存文件名为 EtltestJob ， kettle 默认job文件保存后后缀名为 kjb ； 4.2 组件树介绍 X MyT?t* i - DRt^D NodhDB X MyT?t * i - DRt^ D NodhDB ^J INaahdb Steps (曲孫｝ A播入/更葫 R備隹宣洞 斛表