大数据离线与实时技术-课件 任务2 Spark Core离线计算——电影评分数据集实战.pptx

任务2SparkCore离线计算——电影评分数据集实战

内容导航01任务概述与数据初探了解任务目标，使用pandas初探数据集02RDD核心操作实战离线计算电影总数、评分统计信息03进阶计算与文件读写跨文件平均值计算与PySpark文件读写04知识链接与总结RDD基础、键值对RDD、广播与累加器

任务概述与数据初探01

任务2整体目标与实施路径概述任务2的整体目标与实施路径，建立全局认知运用SparkCore对电影评分数据集进行离线计算整体目标核心能力条件计算按条件计算平均值简单统计数据汇总与统计文件读写数据持久化操作实施路径初探数据使用pandas初步探查3个数据文件工单实践基