（共13页PPT）尚硅谷大数据技术之Flume.pptxVIP

尚硅谷大数据研究院大数据技术图解

为什么选用FlumePython爬虫数据Ja后台日志数据服务器本地磁盘文件夹HDFSFlumeFlume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。上传文件到HDFS，但是不实时。且读取速度和向HDFS写数据的速度很难匹配。没有缓存处理。

Flume组成架构WebServerSourceSinkEventnHDFSAgent数据输入端Flume流式处理数据输出端ChannelEvent2Event1…接收事件推送事件拉取读取事件转发事件Source数据输入端的类型有：ro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http、legacy等。但是目前在企业中使用最广泛的就是日志文件。Sink组件目的地包括hdfs、kafka、logger、ro、thrift、ipc、file、null、HBase、solr、自定义。但是目前在企业中使用最广泛的是HDFS和Kafka。Channel是位于Source和Sink之间的缓冲区。Flume自带两种Channel：MemoryChannel和FileChannel。MemoryChannel是基于内存缓存，在不需要关心数据丢失的情景下适用。FileChannel是Flume的持久化C