基于Hadoop网络日志分析系统研究.docVIP

基于Hadoop网络日志分析系统研究 　　摘要:查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。分布式计算技术正好可以用来解决这一难题。阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统。实验证明该系统是有效而实用的。 　　关键词:Hadoop框架;分布式;日志分析;syslog 　　中图分类号:TP393文献标识码:A 文章编号:1009-3044(2010)22-6163-02 　　Research on Hadoop-based Network Log Analysis System 　　HU Guang-min1, ZHOU Liang2, KE Li-xin1 　　(1.Modern Information and Education Technology Center, Shanghai Ocean University, Shanghai 201306, China; 2.College of Information Science, Shanghai Ocean University, Shanghai 201306, China) 　　Abstract: Viewing Web log is an important measure to investigate system failures and monitor operating status of the system. Administrators can examine what happened at a certain time, they can also analyze each log file for purpose of acquiring knowledge. If the administrator only review the status by virtue of checking log files, it is difficult to find useful information that contained in those files, as the log files is characterized by large volume of data and uneasy to read. Distributed computing technology can be used to solve this problem exactly. Process of Syslog log collection is explained, details of the Hadoop distributed computing framework is introduced in this paper, and a Hadoop-basednetwork log analysis system is also designed and implemented. Experimental results show that the system is effective and practical. 　　Key words: Hadoop framework; distributed; log analysis; syslog 　　 　　随着计算机技术的发展,高校数字化建设的步伐越来越快,采用的系统越来越多,为了保护系统的安全,方便调查系统故障,监控系统运行状况,查看日志己经成为一个重要的手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。挖掘出日志中蕴藏的信息来改进用户体验提升管理水平是非常有价值的,然而使用传统的技术对这些海量日志进行分析时无论在存储和计算量上都遇到了瓶颈,此时分布式计算技术进入了人们的视野。Hadoop 作为著名开源组织The Apache Software Foundation 旗下专注于分布式计算的开源项目最近广受业界的关注。在Yahoo!Hadoop 被广泛应用到网页搜索、日志分析、广告计算和科学实验中。著名网站 Facebook 使用600个节点的Hadoop 集群进行网站日志分析和数据挖掘,此外AOL、IBM、Amazon 等众多IT 巨头也都在使用Hadoop[1]。