基于Hadoop陶瓷行业信息聚合平台设计.docVIP

基于Hadoop陶瓷行业信息聚合平台设计 　　摘要： 　　在陶瓷行业信息聚合网站的基础上，通过Web日志分析可以获取网站用户的访问情况，但是随着Web服务器上日志的剧增，在单机上运行日志分析或挖掘程序变得越来越不可行。采用Hadoop并行计算平台对日志进行预处理，然后对页面访问量、用户访问量、网站流量等指标进行统计，还应用Apriori算法对日志进行挖掘，对群集在不同节点数、不同数据集以及不同最小支持度的情形下的性能进行比较。实验结果表明，在Hadoop平台上，随着集群节点的增加，大数据集处理性能会得到较大提升。应用Hadoop 平台构建的日志分析平台可以为陶瓷行业信息聚合平台的管理者提供各种有价值的信息。 　　关键词：Hadoop；Apriori；陶瓷信息系统 　　DOIDOI：10.11907/rjdk.173070 　　中?D分类号：TP319 　　文献标识码：A 文章编号：1672-7800（2017）012-0128-03 　　Abstract： Based on the development of the ceramic industry information aggregation website， Users access informationcan be obtained through Web log analysis. However， with the rapid increase of the logs on the Web server， it becomes more and more impossible to run log analysis or mining programs on a single computer Row. In this paper， Hadoop parallel computing platform for log pretreatment， and then page views， user traffic， website traffic and other indicators statistics， but also Apriori algorithm to log mining， the cluster in different nodes， different data sets and different Minimum support in the case of performance comparison. Experimental results show that the processing of large data sets on the Hadoop platform will be greatly enhanced with the increase of cluster nodes. The log analysis platform built using the Hadoop platform can provide valuable information to managers of the ceramic industry information aggregation platform. 　　Key Words：Hadoop； Apriori； ceramic information system 　　0 引言 　　Hadoop[1-2]平台实现了HDFS分布式文件系统，它具有高容错性的特点，而且可以部署在低端硬件上，提供高吞吐量的处理能力，适合处理超大数据集的应用程序。Hadoop框架最核心的设计是HDFS和MapReduce，HDFS为海量数据存储提供了物质基础，MapReduce为大数据提供了计算技术。 　　本文在一个陶瓷行业信息聚合平台的基础上，应用Hadoop技术，实现了网站访问日志的预处理、统计、挖掘等功能，为网站管理者提供了改进依据。 　　1 研究背景 　　陶瓷行业信息聚合平台网站是一个前端采用BootStrap框架，应用HTML5、AJAX、JQuery等相关技术，后台采用Struts+Hiberate+Spring框架技术的网站。系统功能包括用户注册与管理、陶瓷产品上架与展示、供求信息发布、各类信息搜索等功能。网站布局如图1所示。 　　系统后台数据库采用MySQL框架， 数据库设计了business_chances， product， news， category等表，分别对应供需信息、产品、新闻、产品类别等信息。 　　为了更深入了解网站访客的使用习惯，可以对网站访问日志进行分析。例如tomcat服务器上记录的访问日志的信息。 　　通过这些字段的统计分析，可以