Kafka Connect框架原理与HDFS持久化实践.pdfVIP

KafkaConnect介绍｜end

▁of▁sentence｜

本文目标是使用Kafka

Connect把kafka中的消息持久化到hdfs中,

以下是对Kafka

Connect简单介绍:｜end▁of▁sentence｜

Kafka

Connect是一个用于将数据流输入和输出Kafka的框架。以下是Connect的主要概念｜end▁of▁sentence｜

连接器：通过管理任务来协调数据流的高级抽象

任务：如何将数据到

Kafka或从Kafka数据的实现

工作进程：执行连接器和任务的运行进程

转

换器：用于在Connect和外部系统发送或接收数据之间转换数据的代码

转换：

更改由连接器生成或发送到连接器的每个消息的简单逻辑｜end▁of▁

sentence｜

以下是详细说明｜end▁of▁sentence｜

Connectors:｜

end▁of▁

sentence｜

Kafka

Connect中的connector定义了数据应该从哪里到哪里。connector实例是一种逻辑作业,负

责管理

Kafka与另一个系统之间的数据。在自定义Connect时需要编写代码,

并指定Task｜end▁of▁sentence｜

任务：｜end▁of▁sentence｜

任