干货分享之Dmetl集群配置.pdfVIP

DMETL 集群的配置方法 在实际工作中，为了提高数据装载的效率，我们可以采用集群的方式来运行 DMETL。这里我们演示Dmetl 使用一主多从的形式，配置主节点 （172.10.10.203）和从节点（172.10.10.204），过程如下： 1.在所需配置的服务器上分别安装企业版的etl，需注意，所有集群etl 需要共 用一套元数据。可以在etl 配置文件中设置，如下图，所有节点元数据配置 一致，本例选择单独的外置dm7 数据库： 2.Dmetl.ini 中必须需要修改的参数，主节点从节点一致： 参数 说明 SERVER_TYPE 服务器节点类型， 1 为独立服务 器；2 为主节点服务器； 3 为从 节点服务器 主节点选2，从节点选3 MASTER_ADDRESS 需要修改为实际的主节点ip 地址 MASTER_PORT 主节点端口号 MASTER_HEARTBEAT_ADDRESS 需要修改为实际的主节点ip 地址 ENABLE_MULTICAST 此参数修改为1 3.启动服务，将从节点加入到集群中 开启etl 服务，通过etl 管理器连接到主节点，菜单栏中选择集群管理： 然后选择添加从节点，如下图，服务器ID 可以直接获取： 添加成功后如下图： 4.转换中的集群配置： 在数据装载目的段选择集群配置，可以选择自动根据负载因子分配。也可以自 定义，比如选择所有的节点： 如图可见，装载时两节点并行，并且实际速度比单节点会有明显提升。不过只 对表装载起作用，对文件装载只能是单节点。 需要注意一点，所需要的其他配置文件或者数据源文件，如果选择集群自动方 式时，需要保证每个服务器上都实际存在相关的文件。