基于Hive的海量web日志分析系统设计研究.PDFVIP

软件 2015 年第 36 卷 第 4 期 SOFTWARE 国际 IT 传媒品牌 基于 Hive 的海量 web 日志分析 系统设计研究 江三锋 1 ，王元亮 2 (1. 云南财经大学信息学院, 云南 昆明 650000; 2. 云南财经大学中华职业学院, 云南 昆明 650530) : 针对于传统对海量数据处理和计算的瓶颈，提出了一种基于 Hive 的海量 web 日志分析机制。通过 Hadoop 分布式系统架构以及 Hive 数据仓库对海量 web 日志做了分析处理，并对用户的浏览行为进行了分析研究。对用户浏览 行为中的浏览量和跳出率、IP 数、版块热度排行的分析结果对于网站建设和大数据分析系统优化都具有一定的指导意义。 : Hive；Web 日志；Hadoop；网站建设 中图分类号: TP391 文献标识码: A DOI： 10.3969/j.issn.1003-6970.2015.04.021 本文著录格式：江三锋，王元亮. 基于 Hive 的海量 web 日志分析系统设计研究[J]. 软件，2015，36(4)：9396 Research on the Design of Massive Web Logs Analysis System Based on Hive 1 2 JIANG San-feng , WANG Yuan-liang (1. Yunnan University of Finance and Economics School of Information, Kunming 650000, China; 2. Yunnan University of Finance and Economics School of Zhonghua vocational, Kunming 650530, China) 【Abstract 】: A massive Web logs analysis mechanism based on Hive is proposed in this paper to solve the bottleneck of traditional mass data processing and calculation. With the Hadoop distributed system architecture and the Hive data warehouse, massive web logs are analyzed and researched, so are the users browsing behaviors. The analysis of page views, bounce rate, IP number, and section heat ranking in users browsing behaviors provides a guiding light for web- site building and optimization of large data analysis system. 【Key words 】: Hive; Web logs; Hadoop; website construction 0 引言 随着互联网技术的普及，网络上的信息量呈指数级增长。毋庸置疑，web 已经是世界上最大的信息系 统[1] 。作为这个系统中重要的组成部分之一，web 日志记录了用户浏览网页的所有信息。通过处理和分析这 些日志信息，我们可以了解到用户的行为特征，从而改造网页的布局，提高网站的流量，进而给企业带来 更高的收益。 通过数