flume总体集群建设方案.docxVIP

Flume集群Flume介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume的逻辑架构：Flume逻辑上分三层架构：agent，collector，storageagent用于采集数据，agent是flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。 collectorcollector的作用是将多个agent的数据汇总后，加载到storage中。 storagestorage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase等。MasterMaster是管理协调agent和collector的配置等信息，是flume集群的控制器。在Flume中，最重要的抽象是data flow（数据流），data flow描述了数据从产生，传输、处理并最终写入目标的一条路径。对于agent数据流配置就是从哪得到数据，把数据发送到哪个collector。 对于collector是接收agent发过来的数据，把数据发送到指定的目标机器上。Flume的特性Reliability：Flume提供3中数据可靠性选项，包括End-to-end、Store on failure和Best ef