hadoop入门视频教程60 Flume日志收集系统.pptVIP

北瓜 IBEIFENG. COM Hadoop大数据解决方案进阶应用 Fume日志收集系统(4) Hadoop 讲师:迪伦(北风网版权所有)  课程目标 口 Flume ng核心概念 口 Flume Og安装  gent之 Channe与smk ke Commit I Event 2 s。ure  Agent之 Channe I 口 Channel位于 Source和Sink之间,用于缓存进来的 even 口当Sink成功的将even发送到下一跳的 channe或最终 目的, event从 Channe移除。 口不同的 hannel提供的持久化水平也是不一样的 口 Memory Channe: volatile 口 File channe:基于WAL(预写式日志 Write- Ahead Logging)实现 口 JDBC Channe:基于嵌入 Database实现 口 Channel攴持事务,提供较弱的顺序保证 口可以和任何数量的 Source和Snk工作  Agent之Sink 口Sink负责将even传输到下一跳或最终目的,成功完成 后将 event从 channel移除 口不同类型的Snl 口存储 event到最终目的的终端Sink.比如:HDFS, HBase 口自动消耗的Sink.比如: Null sin