高级-6 flume原理使用.pdfVIP

课程安排

Flume是什么、应用场景**

Flume的使用***

课程安排

Flume是什么、应用场景**

Flume的使用***

常用的分布式日志收集系统

常用的分布式日志收集系统

flume概述

flume是一个分布式的数据收集系统，具

有高可靠、高可用、事务管理、失败重启

等功能。数据处理速度快，完全可以用于

生产环境。

flume的是agent。agent是一个java进

程，运行在日志收集端，通过agent接收

日志，然后暂存起来，再发送到目的地。

flume概述

flume是一个分布式的数据收集系统，具

有高可靠、高可用、事务管理、失败重启

等功能。数据处理速度快，完全可以用于

生产环境。

flume的是agent。agent是一个java进

程，运行在日志收集端，通过agent接收

日志，然后暂存起来，再发送到目的地。

Flume概念

概念：agent、source、channel、

sink、interceptor

source可以接收各种格式的数据，如

console、thrift、exec、httpdent

sink可以发送到各种不同的目的地，如

hdfs、hbase、文件、控制台等

channel缓冲数据，可以放在内存、文件、

数据库等

interceptor可以在数据传递过程中改变其

属性信息

Flume概念

概念：agent、source、channel、

sink、interceptor

source可以接收各种格式的数据，如

console、thrift、exec、httpdent

sink可以发送到各种不同的目的地，如

hdfs、hbase、文件、控制台等

channel缓冲数据，可以放在内存、文件、

数据库等

interceptor可以在数据传递过程中改变其

属性信息

安装步骤

1.apache-flume-1.4.0-bin.tar.gz和

apache-flume-1.4.0-src.tar.gz

2.两个都解压缩，然后把src文件夹中

的内容全部到bin文件夹

3.是写配置文件

安装步骤

1.apache-flume-1.4.0-bin.tar.gz和

apache-flume-1.4.0-src.tar.gz

2.两个都解压缩，然后把src文件夹中

的内容全部到bin文件夹

3.是写配置文件

#agent1表示名称

agent1.sources=source1

agent1.sinks=sink1

agent1.channels=channel1

#配置source1

agent1.sources.source1.type=spooldir

agent1.sources.source1.spoolDir=/root/hmbbs

agent1.sources.source1.channels=channel1

agent1.sources.source1.fileHeader=false

erceptors=i1

erceptors.i1.type=timestamp

#配置sink1

agent1.sinks.sink1.type=hdfs

agent1.sinks.sink1.hdfs.path=hdfs://hadoop0:9000/hmbbs

agent1.sinks.sink1.hdfs.fileType=DataStream

agent1.sinks.sink1.hdfs.writeFormat=TEXT

agent1.sinks.sink1.hdfs.rollInterval=1

agent1.sinks.sink1.channel=channel1

agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d

#配置channel1

agent1.channels.chann