基于Hadoop构建数据分析系统-资源数据采集的不同渠道系统日志数据采集.docxVIP

系统日志数据采集 PAGE 2 [文档标题 系统日志数据采集 本次课程介绍系统日志数据采集。 一、概念 系统日志采集主要是收集公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。 高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构，能够满足每秒数百 MB 的日志数据采集和传输需求。 二、Flume Apache Flume是Cloudera提供给Hadoop社区的一个项目，用于从不同的数据源可靠有效地加载数据流到HDFS中。Flume具有一定的容错性，并支持failover和系统恢复。Flume是一个分布式、可靠、可用的轻量级工具，非常简单，容易适应各种方式的数据收集。Flume使用Java编写，其需要运行在Java1.6或更高版本之上。 （一）Flume架构 Flume具有分布式、高可靠性、高容错、易于定制和扩展的特点。它将数据从生产、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对数据进行简单处理的能力如过滤、格式转换等。此外，Flume还具有能够将数据写往各种数据目标的（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量数据采集系统。Flume的架构图如下图所示： （二）Flume事件 Flume事件由0个或多个头与体组成，也就是说，它包含了采集的数据（“体”）和一些额外信息（“头”）的一个数据单元。Flume事件是Flume传输的基本单元。头是一些键-值对（MapString,String），比如：事件的时间戳或发出事件的服务器主机名，类似HTTP头的功能。“体”是一个字节数据（byte[]），如下图所示。Flume可能会自动添加一些头信息，比如：数据来自的主机名。 （三）Flume Agent 我们在了解了Flume的外部结构之后，知道了Flume内部有一个或者多个Agent，然而对于每一个Agent来说，它就是一共独立的守护进程(JVM)，它从客户端哪儿接收收集，或者从其他的 Agent哪儿接收，然后迅速的将获取的数据传给下一个目的节点sink,或者agent。如下图所示，Flume基本模型。 Agent主要由：source、channel、sink三个组件组成 Source：从数据发生器接收数据，并将接收的数据以Flume的event格式传递给一个或者多个通道channal，Flume提供多种数据接收的方式，比如Avro，Thrift，twitter1%等。 Channel：channal是一种短暂的存储容器，它将从source处接收到的event格式的数据缓存起来，直到它们被sinks消费掉，它在source和sink间起着一共桥梁的作用，channal是一个完整的事务，这一点保证了数据在收发的时候的一致性。并且它可以和任意数量的source和sink链接。 支持的类型有：JDBC channel ，File System channel ， Memort channel等。 Sink：sink将数据存储到集中存储器比如Hbase和HDFS，它从channals消费数据(events)并将其传递给目标地。目标地可能是另一个sink，也可能HDFS，HBase。 它的组合形式举例：