Kettle基本知识培训.pptVIP

数据库连接点击”新建”，并测试连接。点击确认保存改步骤。 双击”文本文件输出”控件，进行编辑。浏览选择文件存储的位置。 选择”内容”编辑文本的输出格式 点击”字段”选择需要输出的内容。 点击”获取字段”，自动生成字段。 点击”确定”，保存。 添加参数 鼠标点击右键,选择”转换设置”。 在”命名参数”填写参数:ENAME 测试转换 点击”运行”按钮,填写参数内容,并点击”启动” 查看测试结果 查看导出的数据文件 Kettle 调用 利用Pan工具实现转换的调用 pan -file C:\TEST.ktr -level Basic -logfile C:\TEST.log -param:ENAME=ADAMS Kettle 调用 利用Kitchen工具实现作业的调用 Kitchen -file C:\TEST.kjb -level Detailed -logfile C:\TEST_JOB.log -param:ENAME=KING 总结 Kettle的功能非常强大，数据抽取效率也比较高，开源产品，可以进行第三方修改，工具中的控件能够实现数据抽取的大部分需求。 所有功能支持控件化，使用简单。 谢谢! * * 商业分析 卓越中心 智慧企业 智慧 金融 智慧政府 人才学院 商业分析 卓越中心 智慧企业 智慧 金融 智慧政府 人才学院 商业分析 卓越中心 智慧企业 智慧 金融 智慧政府 人才学院 Kettle 培训 　 Kettle 培训内容 Kettle 功能 Kettle 控件介绍 Kettle 案例演示 Kettle介绍 Kettle 是一款开源的、元数据驱动的ETL工具集，是开源 ETL 工具里功能比较强大的一个。 Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。 Kettle 家族 Kettle 5.0家族目前包括几个产品： Spoon—转换(transform)设计工具 (GUI方式) Pan—转换(transform)执行器 (命令行方式) Kitchen—工作(job)执行器 (命令行方式) Kettle 的安装 要运行此工具你必须安装Sun 公司的JAVA 运行环境1.4 或者更高版本，相关资源你可以到网络上搜索JDK 进行下载 绿色免安装，解压即可用。 在不同的平台上运行Spoon 所支持的脚本： Spoon.bat: 在windows 平台运行Spoon。 Spoon.sh: 在Linux、Apple OSX、Solaris 平台运行Spoon。 Kettle转化功能介绍 1 Kettle 中有两种脚本文件，transformation (.ktr)和 job(.kjb)，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。 所有功能支持控件化，使用简单 支持多样化数据源类型： 基本的文本文件 Access、Excel、XML、Property文件格式 MDX查询语言、 Cube文件、Streaming XML数据流 自动产生空记录或者行 从XBase类型文件(DBF)读取数据 关系型数据库 获取系统信息如文件名称、系统时间等 Kettle转化功能介绍 2 特殊目标数据源支持 把数据写入到Cube 把数据写入XML 支持多种查询 调用数据库存储过程 基本的数据库查询 判断表以及列、操作系统文件是否存在 从URL接收查询 使用Web服务查询信息 使用数据流中的值作为参数来执行一个数据库查询 流查询：从转换中其他流里查询值 转换功能 值映射、分组、去重、拆分字段、行列转换 复制行 Kettle转化功能介绍３ 支持的脚本 JS脚本 SQL脚本 正则表达式 支持渐变维度更新 批量加载： Greenplum Bulk Loader Oracle Bulk Loader MSSQL Bulk Loader MYSQL Bulk Loader PostgreSQL Bulk Loader 支持分区表和集群 Kettle作业功能介绍 1 可以执行操作系统命令和操作： Ping 主机 写日志 发送邮件 从POP Server获取邮件并保存在本地 比较文件夹、文件 创建、复制、移动、删除、压缩文件 从HTTP获取或者上传文件 操作延迟等待 Kettle作业功能介绍 2 判断文件是否存在 执行JavaScript、SQL、Shell脚本 支持安全FTP获取、上传文件 删除远程文件 支持SSH2上传