基于Apache Flume 的大数据日志收集系统.docVIP

基于Apache Flume 的大数据日志收集系统 　　【摘要】 在信息化及大数据时代下，各种应用程序的分散及生成的日志信息成爆炸式增长，怎么有效的收集这些日志，并对它进行在线和离线分析，已经成为这领域的热点。我们在现有的Apache Flume、Hadoop等框架下，设计实现了一种大数据日志收集系统。 　　【关键词】 Apache Flume 日志收集 Hadoop 　　大数据及互联网时代下，为了更有效的管理各种应用和系统程序的运行，通过收集它们的日志信息，进行离线和在线分析，来了解它们的运行和安全情况。在信息化及大数据下，分布式系统用的越来越多，日志的存储路径及分布情况越来越多。为了能更好的聚集存储分析这些分布式日志，本文基于开源的Apache Flume 、Hadoop 框架下，设计实现了一种大数据分布式的日志收集系统，并将收集的日志用于监控分析。 　　一、 Flume 　　Flume 是一种开源的分布式日志管理架构，它可以将日志聚集，有可用性高、性能高、事务管理、失败重启等功能。将各个分布式系统上的日志源聚集到一个存储上，方便日志的统一的分析和处理。数据处理速度快，完全可以用于生产环境[4]。 Flume的核心是agent ：（1）agent是一个java进程，运行在日志收集端，通过agent接收日志，然后暂存起来，再发送到目的地；（2）agent里面包含3个核心组件：source、channel、sink。source 组件是专用于收集日志的，可以处理各种类型各种格式的日志数据，source组件把数据收集来以后，临时存放在channel中。channel 组件是在agent中专用于临时存储数据的，channel中的数据只有在sink发送成功之后才会被删除。sink 组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。在整个数据传输过程中，流动的是event。事务保证是在event级别。flume可以支持多级flume的agent，支持扇入（fan-in）、扇出（fan-out）。 　　二、Morphline 　　Morphline是由flume的母公司Cloudera开源的一个ETL框架。它用于构建、改变基于Hadoop进行 ETL的流式处理程序，流程图如图2。Morphline用简单的配置步骤代替了Java编程。 　　三、日志收集系统的实现 　　1、Linux系统及应用日志的收集处理。首先我们配置Linux系统下的rsyslog文件实现日志的外发，通过udp或tcp等协议将日志信息通过设定的端口发到所指定IP地址的机器上。然后在安装有flume的机器上，修改配置文件，设定source 类型为syslogudp或syslogtcp、端口与外发端口对应。设置channel的类型，这里常用的主要有filechannel和memorychannel两种类型，memorychannel具有高的吞吐量，持久化却比较低，而filechannel提供了这种持久化，保证了数据处理的可靠性，但是读写速度较慢，我们这里选取memorychannel。最后通过sink 将日志存储到目的地。这里我们分为两种存储外发方式，一种用于离线分析存储到Hadoop下的分布式文件系统（HDFS），它具有容错性高、可扩展、吞吐量高等特征；另一种用于实时数据分析处理，将它发送到Kafka上，通过Storm收集及处理分析数据。在这里为了处理的方便，我们利用morphline对日志进行了格式化处理，message域中采用正则表达式进行格式化处理。 　　2、Windows系统日志的收集收集处理。由于Windows自身系统没有转发功能，我们需要安装一个agent。我们利用agent把Windows的各类日志转变成syslog日志，最后通过相应的协议转发到服务器端。Evtsys用C语言开发的，它可以将Windows相应的日志发送到syslog服务器。由于它的高效、快速、轻量等特点，常常被一些高负载的服务器所设计利用。并可以作为Windows服务存在。我们通过安装Evtsys工具来实现window系统下日志的外发，通过在命令行中开启命令就可以在接收端通过flume接收日志进行存储，设置如（1）。 　　3、其他软件平台日志的收集收集处理。其他软件平台的日志通过安装相应的agent，设置agent的外发配置实现flume端的接收收集存储。 　　结论：基于现有日志收集方案下，通过开源软件Flume设计实现一种分布式多平台多系统收集多种日志的系统。本系统具有高吞吐量、可扩展性强、高聚合等特征，还通过morphine将message域进行分割便于提