基于大数据技术网络日志分析系统研究.docVIP

基于大数据技术网络日志分析系统研究 　　摘 要： 传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题，研究了基于大数据技术的日志分析方案，即由多台计算机完成日志文件的存储、分析和挖掘工作；建立了一个分层的网络日志分析系统：Syslog完成日志采集，Hadoop负责分布式存储和并行计算，在MapReduce框架下重新实现了IP统计算法。实验结果表明，在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。 　　关键词： 大数据； 日志采集； MapReduce； 日志分析； IP统计 　　中图分类号： TN915?34 文献标识码： A 文章编号： 1004?373X（2016）02?0039?03 　　Research on network log analysis system based on big data technology 　　REN Kai1， DENG Wu2， YU Yan3 　　（ 1. Jinling College， Nanjing University， Nanjing 210089， China； 2. Software Institute， Dalian Jiaotong University， Dalian 116028， China； 　　3. Chenxian Colleage， Southeast University， Nanjing 210088， China ） 　　Abstract： There is a calculation bottleneck when traditional log analysis technology processes the massive data. To solve this problem， a log analysis solution based on big data technology is proposed in this paper. In this solution， the log file storage， analysis and mining tasks will be decomposed on multiple computers. A layered network log analysis system was established， in which Syslog fulfils the log acquisition， Hadoop is responsible for distributed storage and parallel calculation， and IP statistics algorithm is realized with MapReduce technology. The experimental results show that the use of big data technology in data?intensive computation can significantly improve the execution efficiency of algorithms and scalability of the system. 　　Keywords： big data； log acquisition； MapReduce； log analysis； IP statistics 　　0 引 言 　　随着信息化建设的多年发展和逐层推进，大型企业在内部网络中积累了大量的软硬件资源，包括：交换机、路由器、防火墙、PC服务器、Unix小型机、各类业务应用系统、中间件、数据库等。这些计算机设备和网络设备持续不断地记录了大量的日志。日志文件作为硬件设备、系统和用户行为的记录工具，在监控网络运行情况、调查设备故障、保护系统安全等方面有着举足轻重的作用[1]。通过分析日志文件，能够获取有关设备故障、用户异常行为、网络运行状况等信息，有利于及时处置网络安全事件和软硬件故障，保证网络的稳定性和安全性。 　　在大型企业的内部网络中，日志源众多、格式不一、体量庞大，长期存储的数据量可达TB或者PB级别。传统的日志分析系统使用单机技术处理海量数据，在存储和计算两方面都遇到了瓶颈。为了解决这些问题，近年来大数据技术被广泛应用。作为Google MapReduce[2]和GFS[3]技术的开源实现，Apache Hadoop集成了数据存储[4]、数据处理、系统管理等功能，已经成为大数据领域事实上的标准[5]，特别适合于大数据的搜索、挖掘、分析和机器学习[6]。 　　本文提出分层的网络日志分析系统，并详述了日志采集流程和实现方案，之后提