第10章_Kafka分布式消息订阅系统 (1).pptxVIP

王勇杰/wwx7696622020.04.17汪孟德/wwx711842优化

Kafka技术原理

本章主要讲述Kafka基本概念、架构及功能。重在了解Kafka是如何保证数据存储、传输的可靠性，以及对于旧数据的处理方式。

学完本章后，您将能够：掌握消息系统的基本概念掌握Kafka系统架构

Kafka简介Kafka架构与功能Kafka数据管理

Kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。主要应用场景是：日志收集系统和消息系统。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。

点对点消息传递模式在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除。该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。

发布-订阅消息传递模式在发布-订阅消息系统中，消息被持久化到一个topic中。与点对点消息系统不同的是，消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者。

Kafka特点以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持消息分区，及分布式消费，同时保证每个分区内消息顺序传输。同时支持离线数据处理和实时数据处理。Scaleout：支持在线水平扩展FrontendProducerFlumeKafkaHadoopFarmerSparkStormBackendProducer

Kafka简介Kafka架构与功能Kafka数据管理

Kafka拓扑结构图FrontEndFrontEndFrontEndServiceBrokerBrokerBroker(Producer)(Kafka)(Consumer)(Pull)(Pull)(Pull)(Pull)(Push)(Push)(Push)(Push)HadoopClusterOtherServiceReal-timeMonitoringDataWarehouseZooKeeperZooKeeperZooKeeper

Kafka基本概念Broker：Kafka集群包含一个或多个服务实例，这些服务实例被称为Broker。Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。Partition：Kafka将Topic分成一个或者多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息。Producer：负责发布消息到KafkaBroker。Consumer：消息消费者，从KafkaBroker读取消息的客户端。ConsumerGroup：每个Consumer属于一个特定的ConsumerGroup（可为每个Consumer指定groupname）。

KafkaTopics每条发布到Kafka的消息都有一个类别，这个类别被称为Topic，也可以理解为一个存储消息的队列。例如：天气作为一个Topic，每天的温度消息就可以存储在“天气”这个队列里。

KafkaPartition为了提高Kafka的吞吐量，物理上把Topic分成一个或多个Partition，每个Partition都是有序且不可变的消息队列。每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。0111234567891012Partition00123456789Partition10111234567891012Partition2OldNewWrites

KafkaPartitionoffset每条消息在文件中的位置称为offset(偏移量)，offset是一个long型数字，它唯一标记一条消息。消费者通过(offset、partition、topic)跟踪记录。0111234567891012Partition00123456789Partition10111234567891012Partition2OldNewWritesConsumergroupC1

offset存储机制Consumer在从bro