电商数据分析与预测综合实验一Part1.pptx

复习所有操作都有录制视频，网络不好的同学可以直接回看实验报告命名姓名学号word1

实验八—综合应用一（part1)西南大学2

目录综合应用案例介绍数据预处理（用RDD、DataFrame实现）安装HIVEHIVE建表与数据导入注意事项3

1、综合应用案例介绍任务内容分析购物记录（利用hive与spark)通过给定的数据实现回头客预测（spark)对分析结果进行可视化任务划分数据预处理，HIVE安装、数据导入回头客预测可视化分析4

2.数据预处理（用RDD实现）预处理要求：去除首行，筛选双11的记录，再取前10000行注意：不能使用教材上的sh命令来完成预处理(教材上的命令可自行运行，但实验报告需要使用RDD或DataFrame方法来实现预处理)DataFrame之前的一个简单例子，供大家参考filepath=file:///home/hadoop/stu.csvstudf=spark.read.csv(filepath,header=true,inferSchema=true,sep=,)studf.createOrReplaceTempView(stu)spark.sql(select*fromstu).show()自行查阅RDD和DataFrame存储文件的方法，将得到的文件上传到HDFS供HIVE分析5

3、安装HIVEHIVE安装说明安装