基于Hadoop下利用Hive进行网络日志存储与分析.docVIP

基于Hadoop下利用Hive进行网络日志存储与分析 　　摘 要 随着网络应用的普及和网络的深入发展，网络上传输的数据量越来越大，在网络安全管理方面要求越来越严格，如何有效的存储、查询、分析海量的网络日志就成了网络安全管理方面的新挑战。云计算技术的完善和普及，为解决这类问题提供了新的方法，云计算机就是通过网络系统将多台计算机组成一个分布式系统，从而完成海量数据的存储和计算。Hadoop是一个用于构建云计算机平台的开源系统，为了存储和分析这些海量的数据，可以利用Hadoop分布系统下对网络日志的存储、查询、分析，通过该系统的应用可以节约存储成本、提高查询效率，为网络的安全管理、网络优化提供数据支持。 　　【关键词】Hadoop 大数据 Hive 　　1 引言 　　随着网络应用的深度普及，人们在学习、工作、生活越来越离不开网络，所以在网络的运行过程中，会产生海量的网络日志，如何通过海量的日志，来分析用用户上网行的特点，为校园网络的优化、网络安全、提供科学决策的依据，我们首先要解决的问题是如何存存储、查询、分析这些大数，如果用传统的单一节点的计算机能力来处理这些海量的数据已经不能满足需求。利用云计算技术，通过一定的算法，可以把这些大数据进进行清洗、存储、分析，为校园网络安全运行提供数据支持，本文通过Hadoop系统，实现了基于Hive数据仓库的网络日志行为的存储和分析。