《Spark数据计算》课程标准.docVIP

《Spark数据计算》课程标准 1.课程说明 《Spark数据计算》课程标准 课程编码〔38434〕 承担单位〔计算机信息学院〕 制定〔〕 制定日期〔2022年11月16日〕 审核〔专业指导委员会〕 审核日期〔2022年11月20日〕 批准〔二级学院（部）院长〕 批准日期〔2022年11月28日〕 （1）课程性质： 《Spark数据计算》大数据技术与应用专业的专业必修课，Spark是一种快速、通用、可扩展的大数据分析引擎，是基于Scala语言的一种大数据计算框架，主要用于数据分析领域以及数据科学家负责分析数据并建模。 Spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理。通过在一个统一的框架下支持这些不同的计算，Spark使我们可以简单而低耗地把各种处理流程整合在一起。而这样的组合，在实际的数据分析过程中是很有意义的。不仅如此，Spark的这种特性还大大减轻了原先需要对各种平台分别管理的负担。 （2）课程任务： 本课程以Scala语言为主，具备SQL、统计、预测建模(机器学习)等方面的经验，以及具有一定的使用Python、和Matlab的能力，通过理实一体化的学习途径，帮助学生快速掌握Spark的特点以及用途。 （3）课程衔接： 《Spark数据计算》的先修课程为《大数据应用技术基础》、《概率论与数理统计》、《Python基础》和《网络数据库》，上述内容建议作为前续课程开设，可为学生奠定必要的知识和能力基础，以便有效学习本课程内容。 2.学习目标 通过本门课程的学习，使学生知道Spark的概念，了解Spark的特点和用途，掌握Spark集群的安装以及如何执行Spark程序；理解并掌握Sparkcore的应用以及它的内核解析和调优解析；知道SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 （1）知识目标 ?知道《Spark数据计算》这门课程的性质、地位和作用以及用途； ?掌握Spark集群的安装以及如何执行Spark程序； ?理解并掌握Sparkcore的应用以及它的内核解析和调优解析； ?掌握SparkSQL的DataFrame接口支持多种数据源的操作； ?理解Spark调优的基本原则。 （2）能力目标 力求在简洁的基础上使学生能从整体上了解和掌握Saprk数据计算的数据分析和计算框架，培养学生自学能力以及获取计算机新知识、新技术的能力，使学生能够在实际工作中、后续学科的学习能灵活、自如地应用数据可视化技术。 （3）素质目标 ?培养对新知识、新技能的学习能力与创新能力； ?锻炼学生的自学能力、理解能力和表达能力； ?培养学生具有团队合作的精神； ?培养学生善于沟通、团结协作、以人为善的处事能力； ?引导学生树立科学的世界观，激发学生的求知热情、探索精神、创新欲望以及敢于向旧观念挑战的精神。 3.课程设计 本课程根据能力培养目标的要求，确定学习目标及学习任务内容；具体的学习内容和学时分配如表1。 表1学习领域的内容与学时分配 学习单元名称 学习内容 实践学时 理论学时 合计学时 单元1：Scala语言 1.1Scala安装与配置 2 1 22 1.2Scala基础 2 1 1.3控制结构和函数 2 1 1.4数据结构 2 1 1.5模式匹配 4 2 1.6高阶函数 2 2 单元2：Spark基础解析 2.1Spark概述 0 1 8 2.2Spark集群安装 2 2 2.3执行Spark程序 2 1 单元3：SparkCore应该解析 3.1RDD概念 0 1 16 3.2RDD编程 2 1 3.3键值对RDD 2 1 3.4数据的读取与保存主要方式 2 1 3.5RDD编程进阶 2 1 3.6SparkCore实例练习 2 1 单元4：Spark SQL数据源 4.1SparkSQL概述 0 1 14 4.2执行SparkSQL查询 2 1 4.3SparkSQL解析 2 0 4.4SparkSQL数据源 2 0 4.5JDBC/ODBC服务器 1 1 4.6运行SparkSQLCLI 2 1 4.7SparkSQL的运行原理 0 1 单元5：SparkStreaming应用解析 5.1SparkStreaming概述 0 1 16 5.2运行SparkStreaming 2 2 5.3架构与抽象 2 1 5.4SparkStreaming解析 2 2 5.5高级解析 2 2 单元6：SparkGraphX应用解析 6.1SparkGraphX概述 0 1 12 6.2SparkGraphX解析 2 1 6.3图算法 4 4 单元