基于HadoopHive的web日志分析系统的设计-日志分析系统的.PDFVIP

第36卷 增刊 1 广西大学学报：自然科学版 Vo1．36Sup．1 2011年 10月 JournalofGuangxiUniversity：NatSciEd 0ct．2011 文章编号：1001-7445(2011)增 1-0314-04 基于 Hadoop／Hive的web 日志分析系统的设计 刘永增，张晓景，李先毅 (大连理工大学 网络与信息化中心，辽宁 大连 116024) 摘要：互联网技术的迅速发展，使得web承载的信息量呈现出爆炸式增长的趋势，因此web日志的数据量也越 来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现，为这类问题的解决提供了一种思 路。云计算将数据通过网络分布到集群的各个计算节点上，从而完成大规模数据的存储和运算。Hadoop是 一 个用于构建云计算平台的流行的开源框架，广泛应用于海量数据的处理。但