elasticsearch.pptx

功能概念 、系统原理 、系统的使用 演讲人：林健 概念解释 1 ElastichSearch(ES) 以及组成 第一章 概念解释 – 1.1 第一章 概念解释 – 1.2 第一章 概念解释 – 1.3 第一章 概念解释 – 1.4 1 N 第一章 概念解释 – 1.5 分片( primary_shards) 复制分片 ( primary_shards) 索引文件 (sgment) 复制分片 ( primary_shards) 实时分析 Es可以根据业务要求 ，发挥分布式的优点，尽最大性能实时分析、解析出业务需要的数据文档。 分布集群 实时存储 Elastic 某个主结点保存数据时候，只有当复制分片保存成功，才能认为是实时保存成功。并可以并发支持批量数据保存。文档以分片的形式，保存在不同的机器上。 快速搜索 Elastic并发从N台机器中的复制节点或主节点取出数据，通过查询负载机来进行组合数据，最终响应请求。10亿的数据，可以最快1-2秒内搜索出结果 根据业务需求及当前的搜索量，Elastic可以横向扩展，支持最大PB级的分布数据，可以提高索引的搜索速度。 第一章 概念解释 – 1.6 第一章 概念解释 – 1.6 系统原理 2 ElastichSearch(ES) 查询为什么能实时？ 第二章 系统原理 – 2.1 集群中有很多结点，结点与结点之间可以进行配置。 比如： Node1主结点，非数据结点。 （协调创建索引、查询请求） Node2非主结点，数据结点。 Node3非主结点，非数据（负载 均衡，组装返回的数据给客户端。） 第二章 系统原理 – 2.2 搜索： 一当一个客户端请求查询某条数据时，通常用如下几个步骤完成搜索。 1）客户端给NODE1发请求，查询名字叫张三的数据。 2）P1节点接收到请求，判断出当前数据_ID对应的分片0，且分片P1中的数据对应的复制分片R0,R1f都有，会将请求转发到R0处理。 3）取出文档数据返回给P1，最终返回给客户端。 注意，这里的请求，其实会并发查询所有复制分片 中的名字叫张三的数据。所以这里会非常快的返回数据。 第二章 系统原理 – 2.3 更新： 一当一个客户端请求更新某条数据时，通常用如下几个步骤完成更新。 1） 客户端给Node1发送更新请求。 2）它转发请求到主分片所在节点Node3。 3）Node3从主分片检索出文档，修改_source字段的JSON，然后在主分片上重建索引。如果有其他进程修改了文档，它以retry_on_conflict设置的次数重复步骤3，都未成功则放弃。 4） 如果 Node3成功更新文档，它同时转发文档的新版本到Node1和Node2上的复制节点以重建索引。当所有复制节点报告成功， Node3返回成功给请求节点，然后返回给客户端。 第二章 系统原理 – 2.4 创建： 一当一个客户端请求创建或更新某条数据时，通常用如下几个步骤完成创建、删除索引 。 1） 客户端给P1发送创建、删除请求。 2）根据 文档ID,将它转发请求到主分片所在节点Node3。 3）Node3在主分片上执行请求，如果成功，它将会转发请求到NODE1和NODE2的复制分片上，当所有复制分片成功，则NODE3返回成功信息给请求结点。在将信息返回给客户端。 第二章 系统原理 – 倒排索引 2.5 倒排索引 ： Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。 例如：“金服集团大数据中心应用开发部”，会被拆成很中文分词在索引表中。 Terms DOC1 DOC2 金服 X 集团 X 大数据 X 开发部 X 应用 X X 第二章 系统原理 – 倒排索引 2.6 当我们查询“金服大数据”这一个中文分词时，只需要知道他在哪个文档即可。 Terms DOC1 DOC2 DOC3 金服 X X 大数据 X X SCORE(相关度） 1 2 1 两个文档都匹配，但是DOC2比其它的有更多的匹配项。相关度评分为【2】，如果我们加入简单的相似度算法(similarityAndlgorithm)，计算匹配单词的数目，这样我们就可以说DOC2这个 文档比其它的匹配度更高，这对于我们的查询结果具有更多相关性。也可按照此排序 。 安装部署 3 ElastichSearch(ES) 如何在部署在Linux上 第三章 安装部署 – 3.1 安装 第三章 安装部署 – 3.1 安装 下载与解压：  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.g