《数据实时处理flink》课件——第九章 Flink的部署和配置.pptVIP

生产环境中，一般使用命令行管理作业，名为flink，放在Flink主目录下的bin目录下。功能：提交、取消、罗列当前作业，获取作业信息，设置Savepoint。会从conf/flink-conf.yaml里读取配置信息。使用方式：ACTION包括run（提交作业）、stop（取消作业）等。OPTIONS为一些预置的选项，ARGUMENTS是用户传入的参数。命令行工具$./bin/flinkACTION[OPTIONS][ARGUMENTS]模板：需要使用Maven对用户代码打包，得到JAR包。使用WordCount的例子：使用-c参数，设置程序入口类：在命令行中用-p选项设置这个作业的并行度提交作业$./bin/flinkrun[OPTIONS]xxx.jar[ARGUMENTS]$./bin/flinkrun./examples/streaming/WordCount.jar$./bin/flinkrun./examples/streaming/WordCount.jar -corg.apache.flink.streaming.examples.wordcount.WordCount$./bin/flinkrun-p2./examples/streaming/WordCount.jar传入参数，参数会写入main方法的参数String[]中使用-m选项来设置向具体哪个Master提交提交作业$./bin/flinkrun./examples/streaming/WordCount.jar -corg.apache.flink.streaming.examples.wordcount.WordCount --input/tmp/a.log’ --output/tmp/b.log$./bin/flinkrun-mmyJMHost:8081 \./examples/streaming/WordCount.jar罗列当前作业：触发一个作业执行Savepoint，savepointDirectory为目录：关停一个Flink作业：从一个Savepoint恢复一个应用作业：管理作业$./bin/flinklist$./bin/flinksavepointjobId[savepointDirectory]$./bin/flinkcanceljobID$./bin/flinkrun-ssavepointPath[OPTIONS]xxx.jarFlink集群部署模式Flink配置文件命令行工具Flink与Hadoop集成确认已经在机器上安装好Hadoop，配置好环境变量HADOOP_CONF_DIR：将Hadoop依赖包添加到Flink中，两种方法：在环境变量中添加HadoopClasspath，Flink从HadoopClasspath中读取所需依赖包。将所需的HadoopJAR包添加到Flink主目录下的lib目录中。与Hadoop集成HADOOP_CONF_DIR=/path/to/etc/hadoopHADOOP_CLASSPATH存储Hadoop相关类的路径hadoop是Hadoop提供的命令，hadoopclasspath返回Hadoop所有相关的JAR包和依赖下面的命令会添加环境变量：Flink启动时会从$HADOOP_CLASSPATH中寻找所需依赖包。直接使用已经安装的Hadoop。Flink所需要的依赖和已经安装的Hadoop提供的依赖有可能发生冲突。添加HadoopClasspathexportHADOOP_CLASSPATH=`hadoopclasspath`Flink主目录下有一个lib目录，专门存放各类第三方的依赖包。可以将Hadoop依赖包添加到这个目录下：从Flink官网下载预打包的Hadoop依赖包：一些通用的Hadoop版本从源码编译：一些定制的Hadoop将Hadoop添加到lib文件夹下本章中我们应该掌握了Flink集群的部署模式、常用配置和作业提交方式。这些操作可以帮助读者在生产环境中执行Flink作业。谢谢*NativeKubernetes:资源动态分配Flink1.11之后支持第*页第*页第*页前言第*页目录第*页本节概述和学习目标第*页第*页本章总结Flink的部署和配置通过对前文的学习，包括使用DataStreamAPI和使用TableAPISQL来编写程序。本章将重点