基于rabbitmq海量日志分布式处理.docVIP

基于rabbitmq海量日志分布式处理 　　摘 要：近年来，随着科学技术的发展，各种设备日志层出不穷，然而传统的基于单节点的集中式日志分析已经无法满足日志海量、异构、多样等要求，何有效的利用分布式计算资源解决海量日志分析问题成为当下日志研究的一个热点问题。本文提出了基于消息队列rabbitmq的集群方案，并在此基础上测试了海量数据的分布式计算.对比实验结果说明集群优势可以有效的解决日志分析海量数据的问题。 　　关键字：计算机应用技术；rabbitmq；分布式计算；日志分析； 　　中图分类号：TP3 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.07.007 　　本文著录格式：[1]袁佳，郭燕慧.基于rabbitmq的海量日志的分布式处理[J].软件，2313，34（7）：19-23 　　0 引言 　　随着计算机技术和网络技术的迅猛发展，计算机系统已经从独立的主机发展到复杂的、互联的开放式系统，这种情况导致计算机及网络的入侵问题越来越突出。近年来大规模的针对企业的安全事件不断发生，网页仿冒、网页篡改、恶意代码、分布式拒绝服务等攻击手段层出不穷，致使很多企业无法正常工作，给企业用户带来了巨大的损失。 　　根据CERT/CC 在2012年10月的最新统计，2012年上半年，网络攻击的频次、种类、复杂度均比往年大幅增加，遭入侵和受控的计算机数量巨大，潜在威胁和攻击力继续增长，信息安全数据安全问题日益突出，网络安全形势依旧严峻。国家互联网应急中心（CNCERT）接收和自主检测的各种网络安全事件数量与2011上半年相比均有较大增加，其中，垃圾邮件事件与网页恶意代码事件均增长较快，网页恶意代码同比增长近一倍，网页篡改事件和网络仿冒事件均有大幅增长，同比增长分别为23.7%和38%。 　　然而伴随着日志分析另一个问题是，每天由各种设备产生的日志数据量越来越大。如何解决海量日志的分析问题领域另一个非常重要的研究课题。尤其是随着网络的快速发展，web日志数量正在以指数级形式飞快增长。且web日志数据的具有海量、多样、异构、动态变化等特点，这又使得基于传统的单一节点的集中式日志分析平台无法满足海量日志分析。设计一个通用的可扩展的分布式日志分析平台，成为日志分析的必要组成部分。 　　本文正是基于该问题，研究分析了现有的分布式计算技术。结合对rabbitmq消息队列的分析与研究。设计与实现了基于分布式计算平台的海量分析系统。本文后面章节对各个模块进行了阐述。并对本文的分布式计算平台的高效性进行了实验性的对比。实验表明采用该分析系统，通过多个资源完成原先由一个节点承担的工作，无论是在数据处理还是执行效率上面都是要优于原先的基于单机集中式的日志分析。 　　1 日志分析 　　1.1 日志采集 　　pre-decoding 主要从已经格式化的日志中提取确定的信息。例如：主机名、日志源、时间等信息。decoding 主要负责按格式类型从已经加载到内存的两条 decoder 链表中匹配到相应的格式化信息。rules 步骤中主要是按decoding提取到的信息匹配规则。生成相应的警告信息。maild 模块根据警告信息依据设定的级别发送邮件通知。 　　2 rabbitmq 集群 　　AMQP（Advanced Message Queuing Protocol）[4]是一个基于异步处理的应用层高级消息队列协议，它是消息中间件的开发标准，与语言、平台无关，是消息中间件标准化的一个具体方案[5][6]。基于AMQP开发的消息中间件可以进行互操作，便于今后与其它系统的集成与自身的升级。AMQP是基于客户端/代理模式的，为了实现消息中间件的互操作能力，它定义了一套网络协议，已经包含了对代理服务器的模型描述。2006年6月AMQP协议0.8版本发布，2009年下半年0.10版本发布，目前最新版本是2012年10月发布的1.0版本。 　　rabbitmq是使用Erlang编写的AMQP服务器，它实现了基于AMQP规范0-9-1版的内容。rabbitmq已经从设计之初为了给金融行业提供可靠的彼此协作消息协议发展到了提供一个通用的消息队列架构组件工具。在易用性、展性、高可用性等方面变现不俗。 　　由于rabbitmq是使用erlang开发的，而erlang就是为分布式而生的。所以rabbitmq便于集群[7][8]。rabbitmq 集群有两种模式：普通模式、镜像模式。 　　普通模式：也是默认模式，对于queue来说，消息实体只存在与其中的一个节点，A、B两个节点只有相同的元数据。当消息在A时，消费中从B中取消息时，消息会从A中传递到B中。 　　镜像模式：镜像模式是rabbitmq的HA方案。其与普通模式的唯一