项目 1-1 部署Flink 环境-1765264016508.pptx

项目1-1部署Flink环境1

目录CONTENTS01.Flink演进与优势02.架构与资源模式03.部署前准备04.单机部署演练05.Standalone集群部署06.故障排查与总结2

01Flink演进与优势3

Flink的“前世今生”从学术原型到Apache顶级项目??上古时期(2014年前)源于德国柏林工业大学，早期聚焦批处理，基于流式Runtime。??Apache时代(2014年)成为Apache顶级项目，推出DataStreamAPI，奠定流处理基础。??生产验证(2018年)阿里双11大规模应用，验证其PB级状态、17亿条/秒的巅峰处理能力。4

流计算的状态管理挑战为何需要状态管理？传统系统之痛与Flink的破局之道核心数据处理需求实时计算指标(滑动平均)用户行为分析跟踪事件时间窗口聚合乱序数据处理早期系统的问题使用门槛高:状态管理交给用户语义成本高:精确一次性实现复杂系统可靠性差:开发效率低，易出错Flink内置托管状态、检查点与可插拔状态后端，将容错与一致性下沉至框架，化解开发、运维与一致性三重挑战。5

Flink的核心优势??原生流处理引擎事件驱动模式，延迟低至毫秒，同时保持高吞吐。?先进时间语义事件时间:数据产生的时间处理时间:系统处理的时间接入时间:数据进入Flink的时间水印机制:智能处理乱序数据??内存管理优化堆外内存与内存池机制，减少GC瓶颈。??高效序列化框架Kryo/Avro支持，优化网络传输。6

02架构与资源模式7

Flink运行时架构解析Client负责提交、解析作业，生成执行计划。→JobManager主节点，负责调度、容错、资源分配。↘TaskManager工作节点，负责执行任务、管理状态。StateBackend负责状态的持久化与恢复8

状态后端与容错机制三种状态后端对比MemoryStateBackend存储:内存|适用:测试环境|特点:快，但易失FsStateBackend存储:文件系统|适用:中等规模|特点:持久，性能中等RocksDBStateBackend存储:RocksDB|适用:大规模|特点:持久，高性能，支持增量快照检查点(Checkpoint)机制1JobManager触发检查点，向Source注入屏障(Barrier)。2TaskManager对齐屏障，异步保存状态快照。3快照完成后向JobManager确认，完成一次容错备份。通过屏障对齐和异步快照，实现Exactly-Once语义。9

Flink资源管理模式选型Standalone适用:开发测试|优点:部署简单|缺点:功能有限YARN适用:大数据生态|优点:资源隔离|缺点:依赖HadoopKubernetes适用:云原生|优点:弹性伸缩|缺点:运维复杂Mesos适用:混合负载|优点:多框架支持|缺点:使用较少10

03部署前准备11

部署环境准备系统要求与前置检查支持的操作系统Linux(CentOS/Ubuntu),MacOSX,Windows(Cygwin)Java环境要求Java8(推荐)或Java11。验证命令:java-version前置检查清单1.Java环境验证2.系统工具安装3.网络配置检查4.资源分配规划12

下载与目录结构下载与解压$wget[flink-url]$tar-xzfflink-*.tgz$cdflink-1.14.0核心目录结构速览bin/启动/停止脚本conf/配置文件(flink-conf.yaml)log/日志文件examples/示例程序13

04单机部署演练14

启动单机服务与UI验证#1.启动服务$./bin/start-cluster.shStartingcluster.Startingstandalonesessiondaemononhost...Startingtaskexecutordaemononhost...#2.验证进程$jps12345StandaloneSessionClusterEntryPoint12367TaskManagerRunner启动后，打开浏览器访问http://localhost:8081查看WebUI。15

提交示例作业与生命周期管理提交与验证#提交作业$./bin/flinkrun./examples/streaming/WordCount.jar#查看作业列表$./bin/flinklistWaiting