Flume-ng多路传输原理与实践.pdfVIP

大数据课程设计

授课课题flume-ng多路4

教学目的：掌握FLUME-NG多路的流程操作方式

教学目的

与要求能力要求：掌握FLUME-NG原理

教学重点Flume-ng多路

教学难点Flume-ng多路

教学准备Hadoop2.x集群环境，zookeeper集群,hbase集群,flume-ng多节点

1.流程图

课程大纲2.说明

3.实例配置

讲解多路的流程图及原理，并实例操作。见附录

教学过程

板书设计

随堂作业1.实例配置多路操作

【多路流程图】

【说明】

这种模式，有两种方式，一种是用来（Replication），另一种是用来分流（Multiplexing）。

Replication方式，可以将最前端的数据源多份，分别传递到多个channel中，每个channel接收到

的数据都是相同的，配置格式

【实例】

指定了selector的type的值为replication，其他的配置没有指定，使用的Replication方式，

Source1会将数据分别到Channel1和Channel2，这两个channel里面的数据是相同的，然后数

据被传递到Sink1和Sink2

Multiplexing方式，selector可以根据header的值来确定数据传递到哪一个channel

上面selector的type的值为multiplexing，同时配置selector的header信息，还配置了多个

selector的mapping的值，即header的值：如果header的值为Value1、Value2，数据从Source1路由

到Channel1；如果header的值为Value2、Value3，数据从Source1路由到Channel2