Flink原理与实践-Flink的部署和配置.pdfVIP

第九章 Flink的部署和配置 部署模式 • Standalone集群：集群内只部署Flink • Hadoop YARN集群：兼容Hadoop生态，可以部署Hadoop、Hive、Spark、Flink… • Kubernetes集群：兼容各类容器 Standalone集群 l 至少一个Master ，至少一个Worker l Master ： Dispatcher、ResourceManager和JobManager l Worker ：TaskManager l 安装好Java、配置好SSH免密码访问 l 配置Flink主目录的conf/flink-conf.yaml和conf/slaves两个文件 l 将Flink主目录部署到每个节点的相同路径，或者部署到所有节点都 可访问的共享目录 l 启动这个集群：bin/start-cluster.sh 提交作业： $ ./bin/flink run -m 192.168.0.1:8081 ./examples/batch/WordCount.jar 一个Standalone集群拓扑样例 Hadoop YARN • 使用针对Hadoop的Flink ，设置HADOOP_CONF_DIR和YARN_CONF_DIR 等 Hadoop相关的配置 • 启动好YARN集群 • 三种作业提交方式： • Per-Job ：每次向YARN提交一个作业，YARN为这个作业单独分配资源，基于这些资源启动一个Flink集群，作业运行结 束，相应的资源会被释放。 • Session ：在YARN上启动一个长期运行的Flink集群，用户可以向这个集群提交多个作业 。 • Application ：在Per-Job模式上做了一些优化。 YARN Per-Job l Client将作业提交给YARN的ResourceManager l YARN为这个作业生成一个A lication Master以 运行Fink Master ，里面运行这运行着 JobManager和Flink-YARN ResourceManager l JobManager会根据本次作业所需资源向Flink- YARN ResourceManager 申请Slot资源 l Flink-YARN ResourceManager会向YARN申请所 需的资源作为TaskManager l TaskManager将这些Slot注册到Flink- YARN ResourceManager l JobManager将作业的计算任务部署到各 TaskManager上 YARN Per-Job模式 YARN Session l 在Client上，使用bin/yarn-session.sh启动一个YARN Session ，Flink向YARN ResourceManager 申请一个 Application Master l 用户提交一个作业，作业被发送给Dispatcher l Dispatcher会启动针对该作业的JobManager l JobManager向Flink-YARN ResourceManager上申请 所需资源，启动TaskManager l TaskManager注册 l JobManager将计算任务部署到各TaskManager上 l 如果用户提交下一个作业，那么Dispatcher启动新的 JobManager ，新的JobManager负责新作业的资源申请 和任务调度 。 YARN Session模式 YARN Application l Per-Job和Session模式作业提交的过程依赖Client ，main( 方法在Client上执行，main( 方法会 将作业的各个依赖下载到本地，生成JobGraph ，并将依赖以及JobGraph发送到Flink集群 ,负载 很重。 l Application模式允许main( 方法在JobManager上执行，这样可以分担Client的压力