Flink源码：作业提交流程详解.pdfVIP

《018_如果让你来写Flink源码：如何提交一个作业？》Flink是一个大

数据计算系统/框架，DataStreamAPI，包括Source、Map、Filter、

Join等组件。Sourcesource=newSource(针对Kafka的一个Topic获取数

据)DataStreamdataStream=source.getDatastream();DataStream

filteredDataStream=dataStream.filter(newFilterFunction(){public

Booleanfilter(Datadata){//在这里写数据过滤的逻辑//returntrue/false}});

DataStreammappedDataStream=filteredDataStream.map(new

MapFunction(){publicDatamap(Datadata){//针对每条数据做一些转换逻

辑，对数据做一些处理//return处理完毕的数据}});Source

metadataSource=newSource(//针对Kafka的metadataTopic的消费)

DataStreammetadataDatastream=metadataSource.getDataStream();

map