Kettle-基础教学.pptVIP

Kettle 基础培训 整理：小白、玻璃杯 Agenda Kettle特点 Kettle基础知识 Kettle开发流程 Kettle组件介绍 案例介绍 什么是Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。 相关知识链接 kettle的官网是 /projects/data-integration/ 目前常用的版本有5.3，5.2 5.1以及4.4，4.3等，不推荐再以前的版本，已经过于陈旧。 开发、使用者如何选择版本呢？ 5.0以后的版本加入了不少新的控件，也对已有功能做了一定优化，根据群内统计来看目前使用4.4版的较多，5.1、5.2也有不少人用，5.3版根据某群友未经证实的经验还有一定问题。 Kettle特点—kettle与Infomatica比较 总结： kettle配置简单，抽取效率比较高，可以进行第三方修改，工具中的控件能够实现数据抽取的大部分需求。 　 Kettle Informatica 易用性 有非常容易使用的 GUI，出现问题可以到社区咨询。 非常容易使用的 GUI，但是要专门的训练。 部署 需要JVM。 需要有 Server 效率 需要手工调整，对 Oracle 和 PostGre 等数据源做了优化，同时也取决于转换任务的设计。 最快的 　 数据质量 在 GUI 里有数据质量特性，可以手工写 SQL 语句、java脚本、正则表达式来完成数据清洗。 专门有一个产品 Informatica Data Quality 来保证数据质量 　 监控 有监控和日志工具 有非常详细的监控和日志工具，实际应用中无需如此详细日志 　 连接性 非常广泛的数据库，文件，另外可以通过插件扩展。 各种数据源 Kettle基础知识—kettle家族 Kettle家族目前包括几个产品： Spoon—转换(transform)设计工具 (GUI方式) Pan—转换(transform)执行器 (命令行方式) Kitchen—工作(job)执行器 (命令行方式) Carte —基于Jetty的，监听Http请求 Encr —用户加密密码 Kettle基础知识—kettle家族 Spoon允许你通过图形界面来设计ETL转换过程（Transformation）和作业（Job）。例如，从一个SAP系统抽取数据，并把这些数据存储到一个文件里。 Pan允许批量运行由Spoon设计的ETL转换（例如使用时间调度器）。 Pan是一个后台执行的程序，没有图形界面。 Kitchen允许批量使用由Chef设计的任务（例如使用一个时间调度器）。KITCHEN是一个后台运行程序。 Job和Transformation的差别：Transformation专注于数据的ETL，而Job的范围比较广，可以是Transformation，也可以是Mail、SQL、Shell、FTP等，甚至可以是另外一个Job。 Kettle基础知识—kettle的安装 要运行此工具你必须安装Sun 公司的JAVA 运行环境1.4 或者更高版本。 绿色免安装，解压即可用。 在不同的平台上运行Spoon 所支持的脚本： Spoon.bat: 在windows 平台运行Spoon。 Spoon.sh: 在Linux、Apple OSX、Solaris 平台运行Spoon。 Kettle开发流程 双击运行 kettle 目录下的spoon.bat，出现 kettle 欢迎界面。 创建资料库(可省略)。 创建数据库连接。 创建转换。 创建Jobs，进行流程化控制。 Kettle控件介绍 从关系型数据库中获取源数据。 用于数据持久化，将数据加载到关系型数据库中。 从文本文件中获取源数据。 将数据写入文本文件中，如果路径下无此文件，kettle会 自动建立。 Kettle控件介绍 从MongoDB中获取源数据。 用于数据持久化，将数据加载到MongoDB中。 均用于从XML文件获取数据，只是解析方式不 同，一般情况下均采用第二个控件。 将数据写入XML文件中，如果路径下无此文件，kettle会自动建立。 Kettle组件介绍