hadoop SparkSQL大数据日志分析与可视化论文.docVIP

PAGE PAGE II 毕业设计（论文）题目： SparkSQL大数据日志分析并可视化 毕业设计（论文）要求及原始数据（资料）： 1．设计大数据日志分析并可视化平台系统； 2．实现SparkSQL大数据日志分析并可视化工作; 3．按照典型软件工程的流程、规范和方法，使用scala语言和sparkSQL完成数据清洗，数据分析，大数据存储，数据可视化，可视化前端界面的设计、实现。以及大数据测试环境和真实环境搭建，对项目进行测试和部署，最终实现课程排名的展示； 4．针对特定的大数据技术或框架，给出较为深入的研究分析结果； 6．训练检索文献资料和利用文献资料的能力。 7．训练撰写技术文档与学位论文的能力。 第2页 毕业设计（论文）主要内容： 1．前端部分用于数据展示，使用spring boot构建。主要内容为饼图，展示最受欢迎的课程TOPN； 2. 后台部分在spark集群上运行，主要包括日志数据清洗，数据分析，大数据存储等。离线分析GB以上的日志文件，统计最受欢迎的课程，按照地市统计TOP3课程，按照流量统计TOPN课程， 存储到mysql数据库中。搭建分布式的spark集群，通过yarn运行到hadoop集群上。。 3．设计系统的原型并形成原型设计文档； 4．设计系统的体系架构、数据库、开发框架、关键算法等并形成系统设计文档。 5．模块代码开发及单元测试并形成最终系统