Flink实时大数据处理技术 课件 03章.环境搭建和应用部署.pptx

第三章环境搭建和应用部署;教学内容;教学目标;环境搭建和应用部署–知识点预览;在CentOS中安装Flink需要先安装JDK。建议安装1.8及以上版本的JDK，并将其配置到环境变量中。

JDK下载地址：/java/technologies/downloads/#java8;CentOS环境准备——快速安装Flink;CentOS环境准备——安装netcat;项目初始化;项目初始化;项目初始化;项目初始化;项目结构与依赖;项目结构与依赖;Flink词频统计–知识点预览;批处理方式;批处理方式;批处理方式;流处理方式;流处理方式;流处理方式;流处理方式;两种方式对比;对于Flink而言，流才是整个处理逻辑的底层核心，所以流处理与批处理统一之后的DataStreamAPI更加强大，可以直接处理批处理和流处理的所有场景，Flink本身是流处理与批处理统一的处理架构，批量的数据集本质上也是流，没有必要用两套不同的API来实现。

DataSetAPI在Flink1.12版本时被标记为“软弃用”（softdeprecated），官方建议用户尽可能使用DataStreamAPI进行开发。

在Flink1.14版本中，DataSetAPI被进一步标记为“弃用”（deprecated），未来的版本中可能会完全移除该API。因此，建议用户尽快将代码从DataSetAPI迁移到DataStreamAPI。在实际应用中我们只要维护一套DataStreamAPI就可以了。;向集群提交作业——打包程序;向集群提交作业——部署程序;向集群提交作业——WebUI方式部署;向集群提交作业——WebUI方式部署;向集群提交作业——WebUI方式部署;向集群提交作业——WebUI方式部署;向集群提交作业——通过命令行部署;Flink集群部署–知识点预览;Flink集群核心组件;Flink集群核心组件;Flink集群核心组件;Flink集群核心组件;部署模式;Standalone模式;YARN模式;YARN模式;YARN模式部署与应用提交–知识点预览;环境准备;环境准备-配置免密登录;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-配置Hadoop;环境准备-Flink与Yarn集成;环境准备-Flink与Yarn集成;会话模式;单作业模式;应用模式