elasticsearch应用架构实现与调优海量资源.pdfVIP

本文由简悦SimpRead转码，原文地址

Elasticsearch介绍

Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索、结构化搜索及分析，并采用

Java语言编写，它的主要特点如下：

实时搜索、实时分析；

分布式架构、实时文件，并将每一个字段都编入索引；

文档导向，所有的对象全部是文档；

高可用性、易扩展，支持集群（Cluster）、分片和（ShardsandReplicas）；

接口友好，支持JSON。

Elasticsearch集群的安装与基础调优

1.Elasticsearch集群的架构与角色

Elasticsearch集群的一个主要特点是去化，从字面上理解就是无节点，这是从集群外部来说

的，因为从外部来看Elasticsearch集群，它在逻辑上是一个整体，与任何一个节点的通信和与整个

Elasticsearch集群通信是完全相同的。另外，从集群来看，集群中可以有多个节点，其中有一个为

主节点（Masternode），该主节点不是通过配置文件定义的，而是通过产生的。

下图为Elasticsearch集群的运行架构图：

在ElasticSearch的架构中，有三类角色，分别是Clientnode、Datanode和Masternode。其关系

如下：搜索查询的请求一般是经过Clientnode来向Datanode获取数据；而索引查询首先请求

Masternode节点，然后Masternode将请求分配到多个Datanode节点完成一次索引查询。

本介绍的Elasticsearch架构中，我们只用了Datanode和Masternode角色，省去了Client

node节点，集群采用3个节点，每个节点采用CentOS7.7版本。关于主机和对应的各个角色如下表

所示：

节点名称IP地址集群角色安装软件

server152Masternode、Datanodeelasticsearch-7.7.1

server238Masternode、Datanodeelasticsearch-7.7.1

server30Datanodeelasticsearch-7.7.1

这里对集群中每个角色的含义介绍如下。

Masternode

可以理解为主节点，主要用于元数据（Metadata）的处理，比如索引的新增、删除、分片分配等，以

及管理集群各个节点的状态。Elasticsearch集群中可以定义多个主节点，但是在同一时刻，只有一个主

节点起作用，其他定义的主节点，是作为主节点的候选节点存在。当一个主节点故障后，集群会从候选

主节点中出新的主节点。

由于数据的和查询都不会走主节点，所以主节点的相对较小，因此主节点的内存分配也可以相

对少些，但是主节点却是最重要的，因为一旦主节点宕机，整个Elasticsearch集群将不可用，所以一

定要保证主节点的稳定性。

Datanode

可以理解为数据节点，这些节点上保存了数据分片。它负责数据相关操作，比如分片的CRUD、搜索和

整合等。数据节点上面执行的操作都比较消耗CPU、内存和I/O资源，因此数据节点服务器要选择较好

的硬件配置，才能获取高效的和分析性能。

Clientnode

可以理解为客户端节点，属于可选节点，是作为任务分发用的，它里面也会存元数据，但是它不会对元

数据做任何修改。Clientnode存在的好处是可以分担Datanode的一部分，因为Elasticsearch

的查询是两层汇聚的结果，第1层是在Datanode上做查询结果汇聚，然后把结果发给Clientnode，

接收到Datanode发来的结果后再做第2次的汇聚，然后把最终的查询结果返回给用户。这样，Client

node就替Datanode分担了部分。

由上可以看出，每个节点都有存在的意义，我们只有把相关功能和角色划分