Flink输出到文件Powerpointdesign14课.pptxVIP

Flink输出到文件Powerpoint

design

目录CONTENTS01简介02编码格式支持03示例代码：FileSinkJob

Powerpoint

design简介PART.01

流式文件系统连接器FlinkStreamingFileSink是流式文件系统的连接器，用于将流数据写入文件系统。

它继承自抽象类RichSinkFunction，具备丰富的功能和扩展性。01一致性语义集成Flink的检查点机制，保证精确一次（exactlyonce）的一致性语义。

这使得数据在写入文件系统时不会丢失或重复，确保数据的完整性和准确性。02应用场景广泛应用于日志收集、数据备份、数据归档等场景。

例如，将实时日志数据写入HDFS或本地文件系统，便于后续分析和处理。03StreamingFileSink概述

Powerpoint

design编码格式支持PART.02

01使用StreamingFileSink.forRowFormat(basePath,rowEncoder)构建行编码的文件Sink。

适用于逐行写入数据的场景，如写入文本文件。构建器方法02编码器将每条数据转换为字节数组，以便写入文件。

例如，使用SimpleStringEncoder将字符串数据编码为UTF-8格式。编码器作用03将一行行的文本数据写入文件，每行数据独立存储，便于后续按行读取和处理。

适用于日志数据等需要逐行处理的场景。示例行编码（Row-encoded）

构建器方法使用StreamingFileSink.forBulkFormat(basePath,bulkWriterFactory)构建批量编码的文件Sink。

适用于批量写入数据的场景，如写入Parquet文件。批量写入优势批量写入可以提高写入效率，减少I/O操作。

例如，将大量数据批量写入Parquet文件，便于后续进行高效的数据分析。示例将一批数据写入一个文件，文件格式可以是Parquet等高效存储格式。

适用于数据仓库等需要批量处理数据的场景。批量编码（Bulk-encoded）

Powerpoint

design示例代码：FileSinkJobPART.03

01使用StreamExecutionEnvironment.getExecutionEnvironment()获取流执行环境。

这是Flink流处理程序的入口，用于配置和执行流任务。获取执行环境02可以设置并行度、检查点间隔等参数。

例如，设置并行度为4，以提高任务的执行效率。配置环境参数03java

finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();示例代码创建流执行环境

创建数据源java

DataStreamStringinputStream=env.fromElements(

Hello,Flink!,

ThisisaFileSinkexample.,

Writingdatatolocalfiles.,

Goodbye!

);

使用FileSink.forRowFormat()创建行编码的文件Sink。

配置文件路径和编码器。创建文件Sink配置FileSinkStringsink=FileSink

.StringforRowFormat(newPath(file:///tmp/flink-output),newSimpleStringEncoder(UTF-8))

.build();示例代码可以设置文件滚动策略、缓冲区大小等参数。

例如，设置文件滚动策略为每100条数据滚动一次。配置参数配置文件Sink

将数据写入Sinkjava

inputStream.sinkTo(sink)

使用env.execute()执行流处理作业。

作业名称用于标识和监控作业。执行作业可以通过FlinkWebUI监控作业的运行状态。

例如，查看作业的吞吐量、延迟等指标。作业监控env.execute(FileSinkExample);示例代码执行作业

谢谢大家Powerpoint

design