flumekafka整合部署海量资源.pdfVIP

本文由简悦SimpRead转码，原文地址

Flume概述

Flume是Hadoop生态圈子中的一个重要组件，在上一中提过，它是一个分布式的、高可靠的、

高可用的日志工具。

Flume具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们

使用Flume收集数据的速度超过下游的写入速度时，Flume会自动做调整，使得数据和推送能

够平稳进行。

Flume支持多路径、多管道数据接入和多管道数据输出。数据源可以是HBase、HDFS和文本文

件，也可以是Kafka或者其他的Flume客户端。

Flume的组件介绍

Flume中有很多组件和概念，下面我把Flume中的组件一一进行介绍：

Client：客户端，用来运行FlumeAgent。

Event：Flume中的数据单位，可以是一行日志、一条消息。

Agent：代表一个独立的Flume进程，包含三个组件：Source、Channel和Sink。

Source：数据的收集，用来获取Event并且传递给Channel。

Channel：Event的一个临时，是数据的临时通道，可以认为是一个队列。

Sink：从Channel中Event，将Event中的数据传递给下游。

Flow：一个抽象概念，可以认为是一个从Source到达Sink的数据流向图。

Flume本地环境

我们在Flume的官网安装包，在这里一个1.8.0的稳定版本，然后进行解压：

tarzxfapache-flume-1.8.0-bin.tar.gz

可以看到有几个关键的，其中conf/则是我们存放配置文件的。

Flume测试

我们在Flume后，需要进试，可以通过本地的端口输入，并且在控制台进行打印。

首先，需要修改conf/下的

flume-env.sh，在里面配置JAVA_HOME等配置：

cd/usr/local/apache-flume-1.8.0-bin/conf

cpflume-env.sh.templateflume-env.sh

然后在flume-env.sh里面设置JAVA_HOME和FLUME_CLASSPATH变量：

exportJAVA_HOME=/usr/local/java/jdk1.8

FLUME_CLASSPATH=/usr/local/apache-flume-1.8.0-bin/

创建一个配置文件nc_logger.conf:

更改配置如下：

a1.sources=r1

a1.sinks=k1

a1.channels=c1

a1.sources.r1.type=netcat

a1.sources.r1.bind=localhost

a1.sources.r1.port=9000

a1.sinks.k1.type=logger

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

我们使用如下命令启动一个FlumeAgent:

bin/flume-ngagent

-cconf

-fconf/nc_logger.conf

-na1-Dflume.root.logger=INFO,console

其中有几个关键令：

–conf(-c)用来指定配置文件夹路径；

–conf-file(-f)用来指定方案文件；

–name(-n)用来指定agent名字；

-Dflume.root.logger=INFO,console开启flume日志输出到终端。