Kafka高可用性：数据机制与Leader角色.pdfVIP

table{border‑collapse:collapse;}table,th,td{border:1pxsolid#000;}

Kafka的数据机制

Broker:brokerid‑:副

本因子‑分区‑副本:者、

跟随者ISR

kafka集群

Broker1

Partitio

n‑0

Partitio

n‑3Broker

2

Partition‑1

Partitio

n‑0Broker

3

Partitio

n‑2

Partition‑1

Broker4

Partitio

n‑3

Partitio

n‑2

Leader的作用

•每个分区都有自己的者，相当于一个小集群，记录在ZooKeeper中

•生产者和消费者对数据的读写都是在者上进行的

•Leader只会已经提交的数据，不会未提交的数据

table{border-collapse:collapse;}table,th,td{border:1pxsolid#000;}

Kafka的数据机制

Broker:brokerid

-topic:replication-factor

-partition

-replica:leader、follower

isr

kafka集群

Broker1

Partition-0

Partition-3

Broker2

Partition-1

Partition-0

Broker3

Partition-2

Partition-1

Broker4

Partition-3

Partition-2

Leader的作用

•每个partition有自己的leader，相当于一个小集群，记录在zookeeper

•Producer和consumer对数据的读写都是在leader上进行的

•Leader只会已经commit的数据，不会commit的数据

一个Leader副本负责读写，Leader同步数据给Follower，用于在故障时进行故障转移

者的提交

•每个leader会一个ISR（In‑SyncReplica，基本同步）

replica.lag.time.max.ms=10000

replica.lag.max/消息=4000

•当ISR中的所有replica都向Leader回复ACK时，Leader才Commit

≻请求所需的确认=0生产者≻

请求所需的确认=0

数据的实验

kafka‑topics.bat–create–zookeeperlocalhost:2181–replication‑factor4–partitions3–topictest4

参考资料

CAP理论

‑/lib/view/open1429685536416.html

Follower如何从Leaderfetch消息

html

一个Leader副本负责读写，leader同步数据给follower，用于故障时做failover

Leader的commit

•每个learder会一个ISR（In-SyncReplica，基本同步）

replica.lag.time.max.ms=10000

replica.lag.max/messages=4000

•当ISR中的所有replicat都向Leader回复ACK时，Leader才Comm