ElasticSearch 研究学习文档.docxVIP

laich 2015 laich 2015 年 3 月 @author ElasticSearch 学习文档 理论 ElasticSearch ElasticSearch 是开源搜索平台领域的一个新成员。 ElasticSearch（简称 ES） 是一个基于 Lucene 构建的开源，分布式，RESTful 搜索引擎。 设计用于云计算中，能够达到搜索实时、稳定、可 靠和快速，并且安装使用方便。 支持通过 靠和快速，并且安装使用方便。 支持通过 HTTP 请求，使用 JSON 进行数据索引。 cluster 部来说的，因为从外部来看 es 集群，在逻辑上是个整体，你与任何一个节点的通信和与整个 es 集群通信代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从 部来说的，因为从外部来看 es 集群，在逻辑上是个整体，你与任何一个节点的通信和与整个 es 集群通信 是等价的。 shards shards 代表索引分片，es 可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成 多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能 多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能 更改。 replicas replicas 代表索引副本，es 可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个 分片损坏或丢失时可以从副本中恢复。二是提高 分片损坏或丢失时可以从副本中恢复。二是提高 es 的查询效率，es 会自动对搜索请求进行负载均衡。 recovery 新分配，挂掉的节点重新启动时也会进行数据恢复。代表数据恢复或叫数据重新分布，es 在有节点加入或退出时会根据机器的负载对索引分片进行重 新分配，挂掉的节点重新启动时也会进行数据恢复。 river 代表 es 的一个数据源，也是其它存储方式（如：数据库）同步数据到 es 的一个方法。它是以插件方式存在的一个 es 服务，通过读取 river 中的数据并把它索引到 es 中，官方的 river 有 couchDB 的， RabbitMQ RabbitMQ 的，Twitter 的，Wikipedia 的。 gateway 代表 es 索引快照的存储方式，es 默认是先把索引存放到内存中，当内存满了时再持久化到本地硬盘。 es 支持多种类型的 gateway，有本地文件系统（默认），分布式文件系统，Hadoop 的 HDFS 和 es 支持多种类型的 gateway，有本地文件系统（默认），分布式文件系统，Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。 discovery.zen discovery.zen 代表 es 的自动发现节点机制，es 是一个基于 p2p 的系统，它先通过广播寻找存在的节点，再通过多 播协议来进行节点之间的通信，同时也支持点对点的交互。 播协议来进行节点之间的通信，同时也支持点对点的交互。 Transport http 协议（json 格式）、 http 协议（json 格式）、thrift、servlet、memcached、zeroMQ 等的传输协议（通过插件方式集成）。 服务器搭建 先到 /download/下载最新版的 elasticsearch 运行包，本文写时最新的是 1.4.4，作者是个很勤快的人，es 的更新很频繁，bug 修复得很快。下载完解开有三个包:bin 是运行的脚本，config 是设置文件，lib 是放依赖的包。如果你要装插件的话就要多新建一个 plugins 的文件夹，把插件放到这个文件夹中。 集群方案 单机版的 elasticsearch 运行很简单，linux 下直接 bin/elasticsearch 就运行了。 window 运行 bin/elasticsearch.bat。如果是在局域网中运行 elasticsearch 集群也是很简单的， 只要 设置一致，并且机器在同一网段下，启动的 es 会自动发现对方，组成集群。 配置信息 在 service 目录下有个 elasticsearch.conf 配置文件，主要是设置一些 java 运行环境参数，其中比较重要的是下面的 参数： #es 的 home 路径，不用用默认值就可以set.default.ES_HOME=Path to ElasticSearch Home #分配给 es 的最小内存set.default.ES_MIN_MEM=256 #分配给 es 的最大内存set.default.ES_MAX_MEM=1024 # 启动等待超时时间（以秒为单位） wrap