Flink作业在集群中运行机制.pdfVIP

《017_写好的

flink

作业是如何在集群里跑起来的?(2)》

flink

是一个大数

据计算系统/框架，data

stream

api，source、map、filter、join

Source

source

=new

Source(针对

kafka

的某个

topic

获取数据)

DataStream

dataStream

=source.getDatastream();

DataStream

filteredDataStream

=

dataStream.filter(new

FilterFunction()

{

public

Boolean

filter(Data

data)

{

//

在这里编写数据过滤逻辑

//

return

true/false

}

});

DataStream

mappedDataStream

=filteredDataStream.map(new

MapFunction()

{

public

Data

map(Data

data)

{

//

对每条数据执行转换逻辑，进行数据处理

//

return

处理后的数据

}

});

Source

metadataSource

=new

Source(//

消费

kafka

的

metadata

topic)

DataStream

metadataData