高教社2026教学课件大数据处理-第6章 大数据系统管理.pptxVIP

大数据处理

2024春;目录;目录;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;7.1统一资源管理;目录;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;33;34;35;36;37;7.2大数据系统资源调度;7.2大数据系统资源调度;7.2大数据系统资源调度;目录;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;7.3大数据系统的协调技术;Paxos算法

;Paxos算法

;实例：假设存在3节点的paxos集群，proposerA收到请求将X设置成3，proposerB收到请求将X设置成5。proposerA和proposerB分别为此生成提案，其proposerA的提案编号为1，proposerB提案编号为2。在prepare阶段它们交互结果如下;;61;7.3大数据系统的协调技术;Raft算法概述:Raft算法则是从多副本状态机的角度提出，用于管理多副本状态机的日志复制。Raft实现了和Paxos相同的功能，它将一致性分解为多个子问题：Leader选举（Leaderelection）、日志同步（Logreplication）、安全性（Safety）、日志压缩（Logcompaction）、成员变更（Membershipchange）等。

Raft将系统中的角色分为领导者（Leader）、跟从者（Follower）和候选人（Candidate）：

Leader：接受客户端请求，并向Follower同步请求日志，当日志同步到大多数节点上后告诉Follower提交日志。

Follower：接受并持久化Leader同步的日志，在Leader告之日志可以提交之后，提交日志。

Candidate：Leader选举过程中的临时角色。

;角色状态转换状态机：;Leader选举

Raft使用心跳（heartbeat）触发Leader选举。当服务器启动时，初始化为Follower。Leader向所有Followers周期性发送heartbeat。如果Follower在选举超时时间内没有收到Leader的heartbeat，就会等待一段随机的时间后发起一次Leader选举。

Follower将其当前term加一然后转换为Candidate。它首先给自己投票并且给集群中的其他服务器发送RequestVoteRPC（RPC细节参见八、Raft算法总结）。结果有以下三种情况：

赢得了多数的选票，成功选举为Leader；

收到了Leader的消息，表示有其它服务器已经抢先当选了Leader；

没有服务器赢得多数的选票，Leader选举失败，等待选举时间超时后发起下一次选举。

;日志同步

Leader选出后，就开始接收客户端的请求。Leader把请求作为日志条目（Logentries）加入到它的日志中，然后并行的向其他服务器发起AppendEntriesRPC复制日志条目。当这条日志被复制到大多数服务器上，Leader将这条日志应用到它的状态机并向客户端返回执行结果。

某些Followers可能没有成功的复制日志，Leader会无限的重试AppendEntriesRPC直到所有的Followers最终存储了所有的日志条目。

;日志由有序编号（logindex）的日志条目组成。每个日志条目包含它被创建时的任期号（term），和用于状态机执行的命令。如果一个日志条目被复制到大多数服务器上，就被认为可以提交（commit）了。

Raft日志同步保证如下两点：

如果不同日志中的两个条目有着相同的索引和任期号，则它们所存储的命令是相同的。这一条特性源于Leader在一个term内在给