Elasticsearch分布式系统架构设计.pdfVIP

Elasticsearch 分布式系统架构设计 1 分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常 大。这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分 布式分析系统等。 分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常 大。这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分 布式分析系统等。 我们先来简单看下 Elasticsearch 的架构。 Elasticsearch 集群架构 Elasticsearch 是一个非常著名的开源搜索和分析系统， 目前被广泛应用于互联网多种领域中， 尤其是 以下三个领域特别突出。一是搜索领域，相对于 solr ，真正的后起之秀，成为很多搜索系统的不二之 选。二是 Json 文档数据库，相对于 MongoDB ，读写性能更佳，而且支持更丰富的地理位置查询以 及数字、文本的混合查询等。三是时序数据分析处理，目前是日志处理、监控数据的存储、分析和可 视化方面做得非常好，可以说是该领域的引领者了。 Elasticsearch 的详细介绍可以到官网查看。我们先来看一下 Elasticsearch 中几个关键概念： 节点（ Node ）：物理概念，一个运行的 Elasticearch 实例，一般是一台机器上的一个进程。 2 索引（ Index ），逻辑概念，包括配置信息 mapping 和倒排正排数据文件，一个索引的数据文件可 能会分布于一台机器，也有可能分布于多台机器。索引的另外一层意思是倒排索引文件。 分片（ Shard ）：为了支持更大量的数据，索引一般会按某个维度分成多个部分，每个部分就是一个 分片，分片被节点 (Node) 管理。一个节点 (Node) 一般会管理多个分片，这些分片可能是属于同一份 索引，也有可能属于不同索引，但是为了可靠性和可用性，同一个索引的分片尽量会分布在不同节点 (Node) 上。分片有两种，主分片和副本分片。 副本（ Replica ）：同一个分片 (Shard) 的备份数据，一个分片可能会有 0 个或多个副本，这些副本中 的数据保证强一致或最终一致。 用图形表示出来可能是这样子的： 3 Index 1 ：蓝色部分，有 3 个 shard ，分别是 P1，P2 ，P3 ，位于 3 个不同的 Node 中，这里没有 Replica 。 Index 2 ：绿色部分，有 2 个 shard ，分别是 P1 ，P2，位于 2 个不同的 Node 中。并且每个 shard 有一个 replica ，分别是 R1 和 R2。基于系统可用性的考虑，同一个 shard 的 primary 和 replica 不 能位于同一个 Node 中。这里 Shard1 的 P1 和 R1 分别位于 Node3 和 Node2 中，如果某一刻 Node2 发生宕机，服务基本不会受影响，因为还有一个 P1 和 R2 都还是可用的。因为是主备架构，当主分 片发生故障时，需要切换，这时候需要选举一个副本作为新主，这里除了会耗费一点点时间外，也会 有丢失数据的风险。 Index 流程 4 建索引（ Index ）的时候，一个 Doc 先是经过路由规则定位到主 Shard ，发送这个 doc 到主 Shard