KingbaseDI V3.0集群部署及使用手册.doc

KingbaseDI V3.0 集群 部署及使用手册 目 录 1 范围 3 1.1 系统概述 3 1.2 文档概述 3 2 定义 3 3 系统环境 3 4 集群部署说明 3 4.1 动态集群部署 3 4.1.1 主节点部署 4 4.1.2 子节点部署 4 4.2 静态集群部署 7 5 集群使用说明 7 5.1 在设计器中配置动态集群 7 5.2 在设计器中配置静态集群 9 5.3 转换运行使用集群 11 范围 系统概述 KDI是一款ETL数据整合工具，用于完成数据的抽取、清洗、转换、加载等过程。KDI管理平台以B/S架构部署KDI服务，提供转换/作业调度和监控的功能。 调度可选择资源库中的转换/作业，配置一定的调度策略调度其运行；监控提供对调度运行情况的监控，并可查看调度文件运行的数据库日志以及运行中的错误信息。 文档概述 KDI V3.0集群的部署及使用文档，主要读者为技术支持人员和用户技术人员。 定义 KDI：Kingbase Data Integration，金仓数据整合工具； ETL：Extract-Transform-Load的缩写，意为数据抽取、转换、装载的过程 B/S：浏览器/服务器模式，客户端通过览器，主要事务逻辑在服务器端实现 资源库：资源库为数据库存储，设计好的转换、作业文件以及数据源均保存在资源库中。 Carte：KDI V3.0的远程运行服务器。 系统环境 操作系统：Windows/Linux X86/X86_64 Java环境：JDK1.6.10以上版本 应用服务器：Tomcat7.0.12以上版本 调度数据库：主流数据库的较新版本，如MySQL5.4、KingbaseES6.1.3、Oracle10G等 资源库数据库：同调度数据库 集群部署说明 动态集群部署 主节点部署 master.xml配置文件 在进入KDI V3.0的运行目录，新建文件master.xml，内容如下： slave_config slaveserver namemaster/name hostname31/hostname port5000/port masterY/master /slaveserver /slave_config 配置项说明： name：集群主节点的名称，定义此集群的主节点名称，英文字母加数字； hostname：集群主节点的ip地址； port：集群主节点的端口号，需要一个未被占用的端口号； master：Y表示主节点。 启动主节点集群服务： 在命令行中进入KDI V3.0的运行目录，执行如下命令： Windows：Carte.bat master.xml Linux：carte.sh master.xml 正确启动后的信息： 子节点部署 slave.xml配置文件 在进入KDI V3.0的运行目录，新建文件slave.xml，内容如下： slave_config masters slaveserver namemaster/name hostname31/hostname port5000/port usernamecluster/username passwordcluster/password masterY/master /slaveserver /masters report_to_mastersY/report_to_masters slaveserver nameslave1/name hostname31/hostname port5001/port usernamecluster/username passwordcluster/password masterN/master /slaveserver /slave_config 配置项说明： （1）在masters节点中，配置一个slaveserver，定义集群的主节点，子节点根据此处的配置向主节点注册： name：集群主节点的名称，需要跟主节点所配置的名称一致； hostname：集群主节点的ip地址，需要跟主节点所配置的ip地址一致； port：集群主节点的端口号，需要跟主节点所配置的端口号一致； username：用户名，默认为cluster，不需要修改； password：密码，默认为cluster，不需要修改； master：Y表示主节点，跟主节点配置一致。 （2）report_to_masters：是否向主节点报告，用于心跳检测，设置为Y。 （3）在slaveserver节点中配置这个子节点： name：集群子节点名称，需要跟其他子节点区分开，推荐使用slave