ETL技术报告kettle简介以及使用Kettle建立一个简单的数据仓库.pptxVIP

开源ETL工具——kettle 1/23 主要内容 Kettle介绍 Kettle下载与安装 简单示例 2/23 Kettle介绍 Kettle是一款国外开源ETL工具，纯java编写，能够在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定 。它允许你管理来自不一样数据库数据，经过提供一个图形化用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件:transformation和job，前者完成针对数据基础转换 ，后者则完成整个工作流控制。 3/23 Kettle下载与安装 能够去Kettle官网上去下载/ 我下载是pdi-ce-4.1.0-stable.zip kettle不需要安装，直接解压，运行spoon.bat即能看到kettle欢迎界面。需要注意是，计算机上必须装有JDK，不然kettle无法运行。 4/23 简单示例 说明：经过下面这个示例简单介绍了kettle一个种脚本：transformation 。 假设：在销售水果时候需要统计水果一些信息。其中水果产地之类信息存在一个数据库中。价格和销售情况信息存放在另一个数据库中。这些信息能够使用不一样数据库，存放在不一样计算机上。因为计算机硬软件限制，我试验只能在一台计算机上使用同一个数据库来完成。 5/23 数据库建立 本试验使用了mysql数据库。在mysql数据库中新建了三个数据库：test1，test2，test3。 test1：包含一个表t_fruit，统计了水果价格，以下： 6/23 数据库建立 test3：包含一个表t_fruit_info，主要统计水果产地。 7/23 数据库建立 test2：作为数据仓库用数据库，包含一个表total。 8/23 建立数据仓库 进入spoon：解压从官网下载软件，双击Spoon.bat，等候几秒就会进入spoon主界面： 9/23 创建transformation文件 双击左边转换将创建一个新transformation(也能够经过菜单里面文件-新建-转换方式新建文件)，点击另存为，保留到当地路径 。 10/23 保留到当地之后： 11/23 连接DB 在“DB连接”上点击右键选择“新建”，出来以下对话框。 12/23 连接DB 在上述对话框中依次填入Connection Name 、Host Name、Database、Username、Password。然后点击”Test”按钮测试连接是否成功，假如成功后，点击OK按钮。 按照上述步骤为要处理三个数据库各自建一个DB连接。 13/23 连接DB成功 14/23 抽取、转换、装载过程 在example页面下，点击左侧“关键对象”，点击“输入”，选中“表输入”，拖动到主窗口释放鼠标。 双击“表输入”，在出现对话框中填入相关信息。分别为test1和test2建立表输入。 15/23 16/23 表连接 点击左侧“关键对象”，点击“连接”，选中”Merge Join“，拖动到主窗口释放鼠标。然后，点击表输入，按住shift键，再拖动鼠标到Merge Join，这时就实现了在两个组件之间连线。 17/23 表连接 双击“Merge Join ”，进行以下列图设置 18/23 插入/更新 点击左侧“关键对象”，点击“输出”，选中“插入/更新” ，拖动到主窗口释放鼠标。将它与Merge Join进行连线。 双击”插入/更新”图标，进入编辑窗口。填写以下列图所表示信息。 19/23 20/23 说明 数据库连接选择数据仓库数据库，目标表选择对应taotal表，在查询关键字里，表字段写info_name(表示仓库表里字段)，流里字段1里写入fruit_info_name。比较符用”=”号。点击Edit mapping按钮，将表字段，与流利字段进行对应，即流里字段里值输入到表里哪个字段里去。 21/23 执行transformation 这么，我们transformation就创建完成了，这时，我们能够点击运行，测试创建transformation是否成功。 点击 按钮，就会执行ETL过程，这时我们能够查看数据仓库表，假如有数据，并符合我们要求，那么说明我们transformation成功了。 22/23 查看数据仓库 23/23