Flink原理与实践-DataStream API的介绍和使用.pdfVIP

第四章 DataStream API的介绍和使用 Flink程序的骨架结构 1.初始化运行环境 2.读取一到多个Source数据源 3.根据业务逻辑对数据流进行Transformation转换 4. 将结果输出到Sink 5.调用作业执行函数 设置执行环境 • 执行环境是作业与集群交互的入口 // 创建Flink执行环境 • 设置并行度 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); • 关闭算子链 • 时间、Checkpoint env.setParallelism(2); env.disableOperatorChaining(); • … • 流处理和批处理的执行环境不一样 • Java、Scala两套API Source、Transformation和Sink • Source • 读取数据源统称为Source • 文件系统、消息队列、数据库等 • Transformation • 使用Flink提供的各类函数，进行有状态的计算 • 数据流的分组、窗口和聚合操作等 • Sink • 将计算结果输出到外部系统，统称为Sink • 目的地可以是文件系统、消息队列、数据库等 执行 • Flink是延迟执行 （Lazy Evaluation ）的 • 调用execute()方法，Flink才会真正执行 • 否则无法得到计算结果 • 字符串参数为当前作业名 // execute env.execute(kafka streaming word count); 四类Tranformation转换 l 单数据流转换 l 基于Key的分组转换 l 多数据流转换 l 数据重分布转换 l DataStreamT 泛型T为数据流中每个元素的类型 单数据流转换 - map l 每个输入元素对应一个输出元素 l 重写MapFunction或 RichMapFunction @FunctionalInterface public interface MapFunctionT, O extends Function, Serializable { 调用这个API就是继承并实现这个虚函数 l MapFunctionT, O O map(T value) throws Exception; } MapFunction源代码 • T为输入类型 • O为输出类型 第一个泛型是输入类型，第二个泛型是输出类型 l 实现其中的map()虚方法 public static class DoubleMapFunction implements MapFunctionInteger, String { @Override public String map(Integer input) l 主逻辑中调用该函数 {