elasticsearch-详细介绍文档(重要).docxVIP

本文是通过阅读elasticsearch权威指南总结而成，大部分内容和书上一样，再加上本人的一些注解，后续如有对ES新的认识，会不断更新到此文档刘召明 2015.12.09一、elasticsearch安装省略，详见安装文件夹文档二、分布式集群1.空集群一个节点就是es实例，具有相同的clustername；多个节点协同工作，分享数据，平衡负载，自动感应节点并平衡数据。主节点被自主选出，且不参与文档级别的变更与搜索。2.集群监控GET /_cluster/health其中status字段颜色意义green所有主要分片和复制分片都可用yellow所有主要分片可用，但不是所有复制分片都可用red不是所有的主要分片都可用3.索引index用来指向一个或多个分片的“逻辑命名空间”。分片最小级别工作单元，用来保存数据，就是一个lucence实例，而且是一个完整的搜索引擎。分片可以是主分片(primary shard)或者是复制分片(replica shard)。主分片的数量决定能储存多少数据。索引创建完成数量就固定了。复制分片可以恢复数据和提供读请求。可以动态调整数量4.添加故障转移多节点，存在副本，保证数据丢失可以恢复。5.横向扩展多节点，不再赘述。6.更多扩展如果3个主分片和6个复制分片分布在9个节点上，搜索性能得到极大提升（相对于分布在3个节点）在同样数量的节点上增加更多的复制分片并不能提高性能，因为这样做的话平均每个分片的所占有的硬件资源就减少了（大部分请求都聚集到了分片少的节点，导致一个节点吞吐量太大，反而降低性能），你需要增加硬件来提高吞吐量。7.应对故障主节点策略：假如某个节点故障，对于丢失的分片，会在其他节点上的对应复制分片自动升级为主分片，状态由red迅速转为yellow，直至恢复复制分片。假如恢复此故障节点，es会利用原有旧的主分片，只会与新的主分片同步变更的数据。三、数据数据吞吐存储的格式为json格式文档； ES中每个字段的数据是默认被索引的；有一点需要注意，索引数据的操作只会发生在主分片(primary shard)上，而不会发生在分片副本(Replica) 上。如果索引数据的请求发送到的节点没有合适的分片或者分片是副本，那么请求会被转发到含有主分片的节点。文档在ES中特指被序列化成json格式的数据其中一个文档还包括元数据（metadata）：_index、_type、_id_index类似于关系数据库中的数据库功能：存储和索引关联数据。索引名称规范：必须全部小写，不能下划线开头，不能包含逗号。_type类似于类型，但是比关系型数据中的类型要复杂的多。每个type都有自己的mapping，mapping会告诉es文档如何被索引名称规范：可以大小写，但不能包含下划线和逗号_id 唯一标示一个文档，可以自定义；索引PUT /{index}/{type}/{id}{field: value, ...}其中_version为版本号，每当文档变化就会使其增加（包含删除）其中自动生成的id为22位；_source字段不会被美化，它的样子与我们输入的一致。在curl后加-i可以得到响应头；GET /website/blog/123?_source=title,textHead命令可以检查文档是否存在更新文档id，返回结果中created会false；url后跟op_type=create可以不覆盖旧的数据；删除时，哪怕没找到文档，版本号也会增加，这样做事为了在多节点不同操作保证顺序。删除一个文档不会立即从磁盘移除，只是被标记删除；后续在后台会删除；版本控制ES采用乐观并发控制：根据修改版本号，进行版本控制，低版本的修改将无效。文档局部跟新文档只能被替换不能被更改。使用脚本局部跟新Groovy脚本默认的脚本语言是Groovy，一个快速且功能丰富的脚本语言，语法类似于Javascript。它在一个沙盒(sandbox)中运行，以防止恶意用户毁坏Elasticsearch或攻击服务器。POST /website/blog/1/_update{script : ctx._source.tags+=new_tag,params : {new_tag : search }}更新不存在的文档POST /website/pageviews/1/_update{ script : ctx._source.views+=1, upsert: { views: 1 }}Upsert 无则创建，有则更新；如上例：无则views为1，有则views加1更新冲突如果在检索和重加索引期间修改文档，_version不能被匹配，更新失败为了保证跟新可以设置重试次数retry_on_