Kettle使用培训文档(精品推荐).pptVIP

shenxiangl Kettle使用-ETLKettle ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 Kettle使用-下载部署 Kettle可以在/网站下载 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可 Kettle使用-运行 进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat文件，出现如下界面 Kettle使用-运行 Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以选择没有资源库 Kettle使用-ktrkjb 点击页面左上角的 创建一个新的transformation，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr 点击页面左上角的 创建一个新的job，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb Kettle使用-transformation 菜单介绍 Main Tree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。 DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。 Steps：一个transformation中应用到的环节列表 Hops：一个transformation中应用到的节点连接列表 Kettle使用-transformation 菜单介绍 Core Objects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 Kettle使用-Transformation 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动，实现环节之间的连接。 Kettle使用-Transformation 常用环节介绍 类别 环节名称 功能说明 Input 文本文件输入 从本地文本文件输入数据 表输入 从数据库表中输入数据 获取系统信息 读取系统信息输入数据 Output 文本文件输出 将处理结果输出到文本文件 表输出 将处理结果输出到数据库表 插入/更新 根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断 更新 根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止 删除 根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止 Lookup 数据库查询 根据设定的查询条件，对目标表进行查询，返回需要的结果字段 流查询 将目标表读取到内存，通过查询条件对内存中数据集进行查询 调用DB存储过程 调用数据库存储过程 Transform 字段选择 选择需要的字段，过滤掉不要的字段，也可做数据库字段对应 过滤记录 根据条件对记录进行分类 排序记录 将数据根据某以条件，进行排序 空操作 无操作 增加常量 增加需要的常量字段 Scripting Modified Java Script Value 扩展功能，编写JavaScript脚本，对数据进行相应处理 Mapping 映射（子转换） 数据映射 Job Sat Variables 设置环境变量 Get Variables 获取环境变量 Kettle使用-Job 菜单介绍 Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。 DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。 Job entries：一个Job中引用的环节列表 Kettle使用-Job 菜单介绍 Job entries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 每一个环节