大数据课程重点与习题答疑集.docxVIP

大数据课程重点与习题答疑集

主要步骤解释：

1.textFile：读取文本文件，创建一个初始RDD，其中每个元素是文件中的一行文本。

2.flatMap(line=line.split())：Transformation操作。对RDD中的每一行字符串应用split函数，得到一个单词数组，然后flatMap会将这些数组“压平”成一个包含所有单词的RDD。例如，HelloWorld会变成[Hello,World]，flatMap后成为Hello,World两个独立元素。

3.map(word=(word,1))：Transformation操作。将每个单词转换为一个元组（键值对），键是单词本身，值是1，表示该单词出现了一次。

4.reduceByKey(_+_)：Transformation操作。对具有相同键（即相同单词）的所有值进行聚合，使用加法函数将它们累加，得到每个单词的总出现次数。

5.collect()/saveAsTextFile(...)：Action操作。这会触发之前所有Transformation操作的实际执行（惰性计算）。collect将结果返回给Driver程序，saveAsTextFile将结果保存到指定路径。

2.3综合应用与设计

习题6：某电商平台积累了大量用户行为日志数据（如浏览、点击、加购、购买等），数据量