kafka技术简介资料.pptx

kafka技术简介 kafka简介 Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息系统。什么是消息系统？消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。Kafka目前主要作为一个分布式的发布-订阅式的消息系统使用。 相关术语Broker（服务器）：kafka 集群的服务器，负责消息存储Producer（生产者）：消息生产者，向kafka broker发送消息的客户端Consumer（消费者）：消息消费者，从kafka broker获取消息的客户端Topic（消息主题）：每条发布到Kafka集群的消息都有一个类别，这个类别被称为TopicPartition（分区）：物理概念，每一个 topic 被分成多个 partition 存储，每一条消息只会存储到一个 partition 中，若有多台Broker，Partition会尽量被分配到不同的Broker上。Partition的设计对于分布式系统有重要意义，Kafka 将一个 Topic 分成若干 Partition，并且尽量保证 Partition