KETTLE基础培训案例.pptx

Kettle 基础培训 （一） 目录 一、 Kettle 介绍 二、 Kettle的要求环境（JDK版本）、安装、基本操作。 三、 Kettle的组件的类型基本说明（作业与转换） 四、基于表对表的同步 五、基于文件到表的同步 六、基于表到文件的同步 七、JAVASCRIPT的基本应用 八、文件FTP下载、上传。 九、作业调用作业、转换。 十、启动脚本说明。 十一、JAVA调用作业、转换 十二、使用原则 简介ETL ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。 ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 简介Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation工作流的控制。完成针对数据的基础转换，job则完成整个 KETTLE的要求环境（JDK版本）、安装、基本操作 KETTLE要求先安装JDK1.5版本或以上 无需安装下载后直接运行spoon.bat即可 5 KETTLE的组件的类型基本说明（作业与转换） Kettle中有两种脚本文件，transformation（转换，后缀为.ktr）和job（作业, 后缀为.kjb），transformation完成针对数据的基础转换，好比工厂里的生产流水线，每个组件相当于一个员工；job则完成整个工作流的控制，好比工厂里的管理。 如果用记事本打开文件可发现转换和作业都是xml类型文件。 6 KETTLE的组件的类型基本说明（作业与转换） 7 作业：分串行执行和并行执行，串行执行是先执行完其中一条线再执行另一条线，并行是两条线同时执行，同一条线上的两个步聚会先执行前面的再执行后面的，每个步骤执行结果分两种：true(成功)/false(失败),根据返回结果可以控制流程走向。 KETTLE的组件的类型基本说明（作业与转换） 8 作业流程图说明 KETTLE的组件的类型基本说明（作业与转换） 9 转换：一传递分复制和分发两种模式。开始所有步骤同时运行，记录会从最前端的步骤向后传递，传递到相应步骤则该记录被该步骤作相应处理，处理完成再把记录往后传递，记录 KETTLE的组件的类型基本说明（作业与转换） 10 复制：把一份数据复制成多份，后面步骤各占一份。 分发：把一份数据平均分配给后面步骤。 基于表对表的同步 11 表对表同步是最基本的同步方式之一 实现步骤： 　一、建立源库连接和目标库连接 　二、使用表输入组件进行源表数据读取 　三、对记录进行适配整理 　四、使用表输出组件输出到目标表 KETTLE的组件的类型基本说明（作业与转换） 12 新建一个转换：文件－＞新建－＞转换 基于表对表的同步 13 基于表对表的同步 14 基于表对表的同步 15 基于表对表的同步 16 基于文件到表的同步 17 新建一个转换 流程：从文件读取记录?插入到数据库中 基于文件到表的同步 18 基于文件到表的同步 19 基于文件到表的同步 20 基于表到文件的同步 21 新建一个转换 实现从表里读取记录生成文件 基于表到文件的同步 22 基于表到文件的同步 23 基于表到文件的同步 24 JAVASCRIPT的基本应用 25 文件FTP下载、上传 26 作业：FTP下载 从FTP上下载相应文件到指定目录下 文件FTP下载、上传 27 文件FTP下载、上传 28 文件FTP下载、上传 29 作业：FTP上传 上传本地文件到相应FTP指定目录上 文件FTP下载、上传 30 作业调用作业、转换 31 文件－＞新建－＞作业