ZooKeeper观察者机制：提升扩展性与可用性.pdfVIP

1观察者：在不影响写入性能的前提下扩展ZooKeeper

虽然ZooKeeper通过让客户端直接连接到集群中的投票成员而表现出色，但这种

架构使得难以扩展以支持超大量的客户端。问题在于，当我们增加的投票成员

时，写入性能会下降。这是因为通常一个写入操作需要集群中至少一半节点达成一

致，因此随着投票者数量的增加，投票的成本可能会显著上升。

我们引入了一种新的ZooKeeper节点类型，称为观察者（Observer），它有助于解

决这个问题并进一步提升ZooKeeper的可扩展性。观察者是集群中的非投票成员，它

们只接收投票结果，而不参与共识协议过程。除了这一简单区别之外，观察者的功能与

跟随者（Follower）完全相同——客户端可以连接到它们，并向它们发送读写请求。观

察者会像跟随者一样将这些请求转发给者（Leader），但只需等待接收投票

结果即可。正因如此，我们可以在不影响投票性能的前提下随意增加观察者的数量。

观察者还具有其他优势。由于它们不参与投票，因此不是ZooKeeper集群的关键组成部

分。因此，即使观察者发生故障或与集群断开连接，也不会影响ZooKeeper服务的可用

性。这对用户的好处在于，观察者可以通过比跟随者更不可靠的网络连接进行连接。实

际上，观察者可以用于从另一个数据连接到ZooKeeper服务器。观察者的客户端将

看到快速的操作，因为所有请求都是在本地处理的；而写入操作所需的网络流

量也更少，因为在没有投票协议的情况下所需的消息数量更少。

2如何使用观察者

设置一个使用观察者的ZooKeeper集群非常简单，只需要对配置文件进行两处修改。

首先，在每个将作为观察者的节点的配置文件中，必须添加以下行：

peerTypeobserver

这一行告诉ZooKeeper该服务器应作为观察者。其次，在每个服务器的配置文

件中，必须在每个观察者的服务器定义行中添加:observer。例如：

server.1:localhost:2181:3181:观察者

1Observers:ScalingZooKeeperWithoutHurtingWritePerformance

AlthoughZooKeeperperformsverywellbyhavingclientsconnectdirectlytovoting

membersoftheensemble,thisarchitecturemakesithardtoscaleouttohugenumbersof

clients.Theproblemisthatasweaddmorevotingmembers,thewriteperformancedrops.

Thisisduetothefactthatawriteoperationrequirestheagreementof(ingeneral)atleast

halfthenodesinanensembleandthereforethecostofavotecanincreasesignificantlyas

morevotersareadded.

WehaveintroducedanewtypeofZooKeepernodecalledanObserverwhichhelpsaddress

thisproblemandfurtherimprovesZooKeepersscalability.Observersarenon-voting

membersofanensemblewhichonlyheartheresultsofvotes,nottheagreementprotocolthat

leadsuptothem.Otherthanthissimpledistinction,Observersfunctionexactlythesame