kettle集群实例.doc

Kettle集群实例 Kettle cluster example 2011年9月27日 高健 唾沫星冲锋枪 416922877 技术概述： 本文的实例是我在实验以后编写的，有详细的步骤截图说明，适用于初用KETTLE做集群的朋友作为参考。本文分两部分，先介绍实例操作后说原理。 Part A 配置jetty容器 配置文件在 $kettlehome$ \data-integration\pwd下，没有的话手动建立一下, 需要修改的是三个xml文件内容，其中master为主服务的配置，另外两个为子服务。 Carte-config-master-8381.xml Carte-config -8382.xml Carte-config -8383.xml 启动jetty容器 在kettle的路径下找到carte.bat，在控制台下启动，使用carte ip port命令。 三个容器启动成功。 配置集群子服务 在spoon环境下配置子服务，其中Q1为主服务，要勾选上“是主服务器”，Q2和Q3为从服务器。 配置集群schemas 制作转换 转换制作完成后，在需要使用集群的步骤上选择集群即可。如下图。 集群执行 执行时选择集群执行。如下图。 查看执行结果。 Part B 集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时，首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中，它包含一个主服务器（Master）和多个从属服务器服务器(slave)。如下图所示。 子服务器（Slave servers）允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器，该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。 在以后的描述中，如果我们提到的是子服务器，则包括集群中的主服务器和从属服务器；否则我们会以主服务器和从属服务器来进行特别指定。