大数据应用技术 课程报告说明.docxVIP

课程报告说明 课程报告分为两个部分：MapReduce应用实践和网站用户行为分析。根据学校最新教学安排和寒假放假时间，期末考试安排提前，因此课程报告的提交时间为第17周周二（12月28日）之前。对应地，为减少同学们期末压力，第16周安排复习，同学们可在课上复习和完成报告；同时将课程报告内容进行了缩减，将网站用户行为分析部分的步骤③Hive、MySQL、HBase数据互导中所包含的“使用HBase Java API把数据从本地导入到HBase中”删除。报告总体格式要求如下： 要有功能描述，即，将代码实现的功能详细地描述出来，必要时给出具体例子； 从开启Hadoop开始到结果展示，每一步命令均需截图展示，包括eclipse的新建项目和新建类的部分；软件安装代码不需要展示，仅需展示MapReduce应用实践和网站用户行为分析相关代码；命令的功能也可进行说明； 用户名（下图中红色矩形圈注出的位置）以自己姓名拼音命名，如：张三同学的用户名应为：zhangsan；命令行截图中的用户名应是自己姓名拼音，若无法辨别是本人，则以抄袭处理。 一、MapReduce应用实践部分 内容 以下三种实现方法任选其一： A. 采用Java编写并打包成JAR包的形式，用老师给的代码实现功能，即课本152-153页的三个例子任选其一(三个例子代码在“MapReduce应用实践 相关材料-MapReduce代码”文档中)； B. 采用Java编写并打包成JAR包的形式，自行编写代码； C. 采用python编写实现功能。 本部分格式要求：如果是自行编写的代码，要在标题处注明。 网站用户行为分析部分（实验指导网站：dblab.xmu.edu.cn/post/7499） 1、内容 A. 本部分分为三个步骤：①本地数据集上传到数据仓库Hive；②Hive数据分析；③Hive、MySQL、HBase数据互导。其中，步骤③Hive、MySQL、HBase数据互导中所包含的“使用HBase Java API把数据从本地导入到HBase中”不需要做，只需要做使用sqoop实现Hive、MySQL、HBase的数据互导。 B. “步骤②Hive数据分析”包含两个部分：实验指导网站中给出的行为分析题目和同学们自定义的三个行为分析题目。 C. “步骤④利用R进行数据可视化分析”是附加部分，同学们可自行选择做或不做。 提交要求 将MapReduce应用实践部分的代码（若是采用Java编写，则提交打包好的可运行的jar包；若是采用python编写，则将代码粘贴到文档中提交）和课程报告文档一起提交。课程报告文档的命名方式为“学号-姓名-大数据应用技术课程报告”，如：201800000-张三-大数据应用技术课程报告。代码文档的命名方式为“学号-姓名-大数据应用技术代码”，如：201800000-张三-大数据应用技术代码。每个同学提交的文件夹的命名格式为“班级-学号-姓名”，如：软工1901-201900000-张三。具体如下：