利用FLume和Kafka实时读取数据日志数据操作手册.docx

利用FLume和Kafka实时读取数据日志数据操作手册

蜂箱数据的读取

Flume可以实时采集网络数据并传输至本地，思考一下，脚本中所对应的Source、Channel和Sink应该如何配置。

5G无线网络将传感器数据传输至本地，Flume是在本地进行接收，Source应该是应用于接收网络数据，数据类型应该配置为NetCat，这里只需要配置好IP地址和端口号即可。Channel用于数据缓存，由于是实时数据，这里使用存储速度较快的内存做为缓冲区。数据到达本地后要进行实时数据的处理，需要通过数据下沉至Kafka，通过KafKa再传递给Flink进行数据处理。Sink要设置的参数就是Kafka的接口