Flume日志采集配置与多机传输实践.pdfVIP

Flume笔记

Web端生成日志，6台机器生成日志。Access.log

到

HDFS。

1、编写代码文件，部署到各个Web服务

器上。

2、使用软件，保证稳定运行。

有了Flume：配置。配置source、配置channel、配

置sink，即使是新手也能进行数据收集和汇总。Flume使用

Java编写。一个agent包含source、channel、sink。一个

文件对应一个agent。

Flume从各种数据源数据传输到各种目的地。

Tcp请求获取数据结果到

hdfs上。

一台机器可以有多个IP。

消息以什么形式传输呢？

练习1：需求描述：如何实时文件的数据新增？

39601

应用

Flume

默认

JVM

堆内存最大为

20MB（‑Xmx20m）。手动设置：在

_

conf/flume‑env.sh

中添加

export

JAVAOPTS‑Xms100m

‑

Xmx2000m

‑Dcom.sun.management.jmxremote