ElasticSearch技术分享 课件.pptVIP

ElasticSearch 目录 Contents Analyzer 内部机 制 存储模型 节点分类 Write 实现原理 Read 实现原理 02 Analyzer 内部机制 04 01 字符过滤器（ character filter ） 他们的任务实在分词前整理字符串，可以用来去掉 HTML 标签，或者将 转化成“ and ” 0 ２ 分词器（ tokenization ） 一个简单的分词器遇到空格和标点 的时候，会将文本拆成词条 0 ３ Token 过滤器（ Token filtering ） 最后，词条按顺序通过每个 Token 过 滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词） Analyzer 内部机制 04 05 01 标准分析器（ Standard Analyzer ） 02 简单分析器（ Simple Analyzer ） 03 空白分析器 （ Whitespace Analyzer ） 04 停止分析器（ Stop Analyzer ） 05 语言分析器（ Language Analyzers ） 06 关键词分析器（ Keyword Analyzer ） 07 08 模式分析器（ Pattern Analyzer ） 指纹分析器（ Fingerprint Analyzer ） 内置分析器 存储模型 04 01 设有两篇文章 1 和 2 文章 1 的内容为： Tom lives in Guangzhou,I live in Guangzhou too 文章 2 的内容为： He once lived in Shanghai. 0 ２ 经过处理后（分词，过滤无用词，小写化）： 文章 1 的所有关键词为： [tom] [live] [guangzhou] [i] [live] [guangzhou] 文章 2 的所有关键词为： [he] [live] [shanghai] 0 ３ 建立倒排索引 关键词 文章号 [ 出现频率 ] 出现位置 guangzhou 1 [2] 3 ， 6 he 2 [1] 1 i 1 [1] 4 live 1 [2] 2 ， 5 2 [1] 2 shanghai 2 [1] 3 tom 1 [1] 1 节点分类 04 01 默认节点（ node.master:true AND node.data:true ） 默认值，既有成为主节点的资格，又可以存储数据，还可以处理客户端的请求 0 ２ Master 节点（ node.master:true AND node.data:false ） 有成为主节点的资格，可以参与选举， master 节点负责维护整个集群状态并保证数据一致性 0 ３ Data 节点（ node.master:false AND node.data:true ） 存储数据节点，提供建立索引和查询索引的服务 0 ３ Client 节点（ node.master:false AND node.data:false ） 又称 coordinate 节点和 ingest 节点，这些节点只负责处理用户请求，实现请求转 发，负载均衡等功能 write( 写 )/create( 创建 ) 操作实现原理 07 协调节点 (coordinating node) 使用文档 ID （默认）将文档路由到对应的分片。 Elasticsearch 将文档 ID 以 murmur3 作为散列函数进行散列，并通过索引中的主分片数量 进行取模运算，以确定文档应被索引到哪个分片。 shard = hash(document_id) % (num_of_primary_shards) Read 的实现原理 08 获取阶段 (Fetch Phase) 查询阶段 (Query Phase)