Flink原理与实践教学大纲6.pdfVIP

课程编号 编制人 制定日期 修订日期 审定组(人) 审定日期 202x.1 《Flink 原理与实践》课程教学大纲 一、课程基本信息 开课单位： 课程名称：《Flink 原理与实践》 课程编号： 课程类型：专业课 学 分： 4 学 时： 48 开设专业： 专业 前导课程： 二、课程任务和目标 （一）课程任务 Flink 是一种针对数据流的大数据计算引擎。比起已有的大数据计算引擎Hadoop 和 Spark，Flink 集流处理和批量处理于一体，具有高吞吐，低延迟，支持状态和故障恢复等优 势，尤其是其流处理技术为业界领先水平，目前被广泛应用在阿里巴巴、腾讯等大公司的生 产环境上。 本课程是计算机软件专业的专业拓展课程。通过本课程的学习，学生掌握 Flink 流数据 处理相关技术，具体包括：流处理的基本概念、Flink 分布式架构、使用 DataStream API 进 行数据流的转换操作、在时间窗口上处理数据流、使用状态并进行备份以便用于故障恢复、 Flink 与外部系统进行连接以及 Flink 部署和配置等问题。 课程按照从基础到应用，从基本功能到高级功能的逻辑循序渐进进行讲授，要求学生通 过动手实践来掌握 Flink 数据流开发技能。 （二）课程目标 理论上，要求学生掌握 Flink 数据流开发的基础知识，理解数据流、数据流图、算子、 时间、窗口、检查点和数据一致性等概念。技能上，能够使用常见的 Flink Java/Scala API 进 行编程开发，尤其是分组和窗口等相关 API ；能够使用连接器读取和写入外部系统；能够进 行必要的配置并将一个 Flink 应用部署到集群上。 1、能力目标 （1）培养学生掌握大数据开发工作流程 （2 ）培养学生基于 Flink 进行流数据处理的能力 （3 ）培养学生发现问题、分析问题和解决问题的能力 （4 ）培养良好的文化修养、职业道德、服务意识和敬业精神 （5 ）培养团队合作和协调沟通能力 2 、知识目标 （1）了解大数据开发相关生态和工作流程 （2 ）掌握流处理的基础概念 （3 ）掌握编程所必备的继承、多态、泛型和函数式编程等基础知识 （4 ）掌握 Flink 数据流图和分布式架构等核心概念 （5 ）掌握使用不同的方式完成用户自定义函数 （6 ）掌握 Flink 的序列化和反序列化机制 （7 ）掌握 DataStream 上常用的转换操作 （8 ）掌握时间以及时间语义 （9 ）掌握窗口算子的使用方法 （10）掌握状态的使用方法 （11）掌握检查点的原理和常用设置 （12）掌握 Flink 应用的部署和简单配置 三、教学条件 技术网络机房，在较高配置的类 Unix 操作系统上组建实验环境，确保系统能够访问互 联网。最后一个单元本课程对实验环境要求更高，需要搭建 3 个主机节点的集群。 建议在虚拟机上进行实验操作，可以充分利用虚拟机的快照功能来备份和恢复实验环境， 利用其克隆功能来快速安装系统。 四、教学内容及学时安排 序 教学内容 学 单元 教学目标 号 训练项目 必备知 时 1 大数据技术概 了解大数据分而 4 述