kettleetl工具简介过程是构建数据仓库重要环节.pdfVIP

ETL 简介 1 、ETL概念简介 ETL( Extract Transform Load) 数据抽取、转换、装载 的过程，是构建数据仓库的重要环节。 抽取：从各种原始业务系统中 数据，数据可以是各种 类型。 转换：按照业务规则对原始的数据进行加工， ，统一 模型。 装载：加载到数据仓库或者数据集市中，为 上层应用提 供数据基础。 ETL 简介 2 、常用的ETL工具 1 专业的ETL工具 Informatica Powercenter http://w /cn/ IBM InfoSphere DataStage htt /software/products/en/ibminfodata 2 开源ETL工具 Kettle Spoon /projects/data-integration/ 3 整体方案提供商 ORACLE OWB htt /technetwork/developer- tools/warehouse/overview/introduction/index.html SQL Server DTS http://m /en-us/library/aa933484 IBM InfoSphere Warehouse /software/data/infosphere/warehouse Kettle 简介 Kettle 开源的ETL工具，纯java编写，可以在Window、 Linux、Unix上运行，数据抽取高效稳定 Kettle 中文名称叫水壶,把各种数据放到一个壶里，然 后以一种希望的格式流出 Spoon：转换(transform)设计工具—GUI方式 图形界面来设计ETL转换过程 Span ：转换(trasform)执行器—命令行方式 Kitchen：工作(job)执行器—命令行方式 Kettle 简介 Kettle 使用步骤 （1）创建转换 大概来说，一般由3步组成：输入→转换等中间步骤→输出 Kettle 简介 （2 ）创建作业 把创建好的转换和作业串联起来，形成一个整体的任务 Kettle 常用组件 转换组件-主对象-数据库连接 数据处理一般会涉及到数据库表操作，创建数据库连接是其他 操作的前提 Kettle 常用组件 转换组件- 对象 Kettle 常用组件 作业组件- 对象 Kettle 常用组件 Kettle 变量、环境变量 其他 （1）Kettle结果预览 （2）Kettle性能衡量 （3）Kettle 日志 实际部署 （1） Kettle 自带的 ‘START’定时功能 实际部署 （2）Windows a.创建bat Kitchen.bat /file:D:\job_name.kjb /level:BasicD:\etl.log b.计划任务程序 实际部署 PS: -rep : R