数据集成_kettle_基础.ppt

《数据库原理与应用》 数据集成-软件基础 数据集成软件基础 1.软件运行 2.转换模型 1 软件运行-配置 安装JRE7.0以上 配置JAVA_HOME 1 软件运行-主界面 1 软件运行-菜单 1 软件运行-转换界面 数据实时捕获 1 软件的运行-转换界面 数据实时捕获 数据集成软件基础 1.软件的启动与界面 2.转换模型 2 转换模型-步骤与连接 转换（Transformation）是由多个步骤（step）组成的网络，转换本质上是数据流。 转换的两个相关的主要组成部分是步骤（step）和节点连接（hops）。 转换文件的扩展名是.ktr。 2 转换模型-步骤与连接 3 转换模型-步骤与连接 步骤（Steps）是转换的建筑模块，比如一个文本文件输入或者一个表输出就是一个步骤。 每个步骤用于完成某种特定的功能，通过配置一系列的步骤就可以完成你所需要完成的任务。 3 转换模型-步骤的类型 3 转换模型-连接 节点连接（Hops）是数据的通道，用于连接两个步骤，使得元数据从一个步骤传递到另一个步骤。 节点连接决定了贯穿在步骤之间的数据流，步骤之间的顺序不是转换执行的顺序。当执行一个转换时，每个步骤都以自己的线程启动，并不断的接受和推送数据。 案例2 执行转换 执行转换启动界面 转换执行结果 转换执行结果 * 1 1 转换 步骤 数据输入 Input 数据输出 Output 数据转换 Transfer 流程控制 Flow 查询 Lookup 脚本 Scripting 连接 Join 统计 Statistics 转换模型总体为关系型模型，均会分解成行和列进行处理 3 转换模型-1）流程设置 3 转换模型-2）元数据设置 表输入节点 读取数据 2、元数据设置 3 转换模型-2）元数据设置 Src 数据连接 3 转换模型-2）元数据设置 计算节点 增加字段 3 转换模型-2）元数据设置 插入/更新节点 写数据 3 转换模型-2）元数据设置 Src 数据连接 每个步骤都是一个单独的线程 以线程运行 Rowset Rowset 以同步队列为通信 每次以行为单位进行处理 3 转换模型-线程模型和通信模型 右键单击步骤，可以查看该步骤的输入和输出字段 3 转换模型-步骤的输入输出字段