基于大数据集的学生上网行为分析.docVIP

QQ：792042913 毕业设计说明书 基于大数据技术的学生上网行为 分析系统设计 学生姓名： xx 学号： xxxxx 学 院： 计算机与控制工程学院 专 业： 计算机科学与技术 指导教师： xx 2016 年 6 月 QQ：792042913 基于大数据技术的学生上网行为分析系统设计 摘 要 伴随着互联网的普及与发展，人们通过网络交流日益频繁，同时，互联网已经 日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候， 会产生相应的查询日志。而这些查询日志中包含着用户有用的信息，可以从这些信 息中分析出用户的真实需求及隐形需求。随着 Hadoop 分布式处理框架的兴起，给 海量用户上网日志的研究带来了巨大的希望。 基于以上的技术发展与查阅大量相关期刊，本论文通过对用户搜索引擎搜索日 志进行详细的分析，利用 hadoop 框架为基础，运用 HDFS 分布式文件系统存储日志 与 MapReduce 计算框架，同时配合可视化技术，设计了一个基于大数据的学生上网 行为分析系统。该系统主要包含了三个模块，日志分析模块，日志存储模块，可视 化展示模块。其中对日志的分析从四个维度进行，即学生用户搜索次数排行，关键 词排行分析，时间分析。其中日志的存储模块分为 HDFS 存储模块与 Mysql 存储模 块。可视化展示模块是对分析得的结果进行直观的展示。最终通过测试验证了系统 的可行性。 关键词：Hadoop ，java ee ，查询日志 ，学生行为分析 QQ：792042913 The Design of the Student Behavior Analysis System Based On Big Data Abstract With the popularization and development of the Internet, people communicate with each other through the network for the exchange of information were frequent . However,Internet has increasingly become a very important channel for the access to information .Student users using a search engine query some information will produce the corresponding query log,And these user query log Which can analyze the users real demand and stealth requirements contains useful information.With the rise of the Hadoop distributed processing framework, the massive users web log research are of great hope. Based on the above technology development and a large number of relevant journals, this paper use the hadoop framework as the basis through a detailed analysis of the user search log, and apply the hadoop distributed file system HDFS to storing log and the graphs computing framework of MapReduce, at the same time cooperate with visualization technology to design a student online behavior analysis system based on big data.The system mainly includes three modules:log analysis module, the log storage module, visual display module. the analysis of the log is from four dimensions,which include the student number of users search ranking, keyword ranking analysis, time analysis