大数据工程项目开发实战活页式教程 课件 第5章 离线处理辅助系统.pptx

第5章离线处理辅助系统1

目录01Flume日志采集02Kafka消息订阅03Sqoop数据迁移

Flume日志采集01

Flume简介Cloudera开发的实时日志收集系统Flume，经历重大改版后成为ApacheFlume。Flume是什么Flume提供三级别可靠性：end-to-end、Storeonfailure、Besteffort。Flume的可靠性Flume支持分布式日志采集，可将数据传输至HDFS供分析。Flume的功能

Flume的可恢复性依赖于Channel，推荐使用FileChannel以确保数据持久化。Flume的可恢复性通过本节学习，我们可以初步了解Fl