携程ES跨集群搜索实践-Elastic中文社区.PDF

携程ES跨集群搜索实践 刘佳 opsdev@ctrip 数据量 ■  2千亿条/ 天 ■  70T/天 ■  300+ 索引/ 天 ■  450 节点, 230 服务器 ■  4万+ shard 大集群痛点 ■  meta信息太多, 全量更新压力大, 经常超时 ■  单节点过载, 影响整个集群的状态更新 ■  master切换时无法响应, 集群不能正常工作 我们的需求 ■  对用户透明 ■  满足并发量 (5千万/ 天) ■  不侵入ES, 多版本兼容, 不影响日后升级 指导思想 ■  尽量不造轮子 (nginx + cross-cluster-search + ESProxy) ■  满足需求就可以, 不需要更加高大上 ■  不做数据处理, 只做权限验证+请求转发 ■  结构最好清楚明了, 便于日后维护 cross cluster search feature ■  [https://www.elastic.co/guide/ en/ elasticsearch/reference/current/modules-cross- cluster-search.html] 利弊分析 ■  利: 解决上述痛点 ■  弊: 更复杂的架构,带来更多可能的隐患, 额外的开发和运维成本 架构简介 Proxy配置 Nginx配置一览 4 1 1 2 4 3 3 架构全景 项目不足 ■  太多转发 ■  配置偏复杂 一些注意点 ■  其中一个集群挂掉, cross-cluster-search会不可用 ■  ignore_unavailable QA 专业、垂直、纯粹的 Elastic 开源技术交流社区 /