FlumeNG配置说明文档V10版.docxVIP

Flume-NG配置说明文档 文件状态： [√] 草稿 [ ] 正式发布 [ ] 正在修改 文件标识： 说明文档 当前版本： V1.0 作 者： 审 核： 完成日期： Flume介绍 Flume是Cloudera提供的日志收集系统，后贡献给了Apache。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，可有效地收集，汇总和来自许多不同来源的大量日志数据到集中的数据存储系统。 Apache的Flume是在Apache软件基金会的顶级项目。目前有两个版本的代码行，0.9.x版本(也称为Flume-OG Flume?original generation)版本以及1.x的版本(也称为Flume-NG Flume next generation版本)。Flume NG 1.x 是Flume 0.9.x的重构版本，去掉了master、zookeeper、collector以及Web console，只有source、sink、channel，成为一个数据传输工具。 Flume-NG支持多种source、多种channel、多种sink，而且可扩展性好，可以自定义组件，是一个非常优秀的日志传输系统。 FlumeNG数据获取 Flume提供了各种source的实现，包括Avro Source、Exce Source、Spooling Directory Source、NetCat Source、Syslog Source、Syslog TCP Source、Syslog UDP Source、HTTP Source、HDFS Source，etc。 ⑴RPC 1、在flume中 ，Avro客户端使用AVRO RPC机制可以发送一个给定的文件 Avro 源： 2、$ bin/flume-ng avro-client -H localhost -p 41414 –F /usr/logs/log.10 3、上面的命令将发送的/ usr/logs/log.10的内容到 flume源监听端 ⑵Executing commands 1、还有一个exec执行一个给定的命令获得输出的源。一个单一的输出，即“line”。回车（\ R）或换行符（\ N），或两者一起的文本。 注：Flume不支持tail做为一个源，不过可以通过exec tail。 ⑶Network streams Flume支持以下的机制，从流行的日志流类型读取数据 1、Avro(数据序列化系统) 2、Syslog 3、Netcat(使用TCP或UDP协议的网络连接去读写数据) Flume部署种类 Flume可以实现多代理、合并、多路复用等多种部署方式。 多代理： ?设置一个多层的流，你需要有一个指向下一跳avro源的第一跳的avro 接收器。这将导致第一Flume代理转发事件到下一个Flume代理。例如，如果您定期发送的文件，每个事件（1文件）AVRO客户端使用本地Flume 代理，那么这个当地的代理可以转发到另一个有存储的代理。如下图： 合并： 在日志收集的一个非常普遍的情况是大量生产客户日志的数据发送到一些消费者代理连接到存储子系统。举例来说，从数以百计的Web服务器收集的日志发送到十几代理写入HDFS集群。 如下图： 多路复用流： Flume支持从一个源到多个通道。有两种模式的，分别是复制和复用。在复制的情况下，流的事件被发送到所有的配置通道。在复用的情况下，事件被发送到可用的渠道中的一个子集。如下图： Flume-NG配置 Flume-NG安装简单，使用方便。从网上下载flume压缩包解压，配置其中的配置文件，即可使用。 定义流 Flume事件(event)被定义为一个单位的数据流量有一个字节的有效载荷和一个可选字符串属性。Flume代理是一个承载组件（source—源，sink—接收器或channel—通道）的(JVM)进程，通过事件流从外部源到下一个目的地（跳）。 一个web服务器的产生的事件由 Flume源消耗。外部源发送事件发送到Flume中，会带着一个识别的格式。例如: 例如:一个Avro Flume源可以用来接收从Avro clients?或其他flume代理从Avro link发送事件。当一个Flume 源接收一个事件，他会存储到一个或多个channel中，这些channel会一直保存着event，直到被Flume sink处理掉，例如JDBC Channel作为一个例子-它使用一个文件系统支持嵌入式数据库，sink从channel中移除事件，同时放入到一个外部的仓库，比如HDFS，或者流转