ElasticSearch分析与实践-卢亿雷-卢亿雷 AdMaster技术副总裁兼总架构师.pdf

ElasticSearch分析与实践 卢亿雷 from AdMaster(精硕科技) 内容 • ElasticSearch特点及⽣态圈 • Lucene原理 • ElasticSearch架构和插件 • ElasticSearch管理和监控⼯具 • ElasticSearch应⽤案例 • ELK实践 ElasticSearch特点及⽣态圈 • 分布式实时分析与检索 • ⾼可⽤ • 多租户 • 全⽂搜索 • ⾯向⽂档 • 易⽤的Restful API • 基于Apache Lucene ElasticSearch特点及⽣态圈 ElasticSearch特点及⽣态圈 ——ELK ElasticSearch特点及⽣态圈 ——ES-Hadoop ElasticSearch特点及⽣态圈 ——ES-Beats Packetbeat Topbeat Filebeat Winlogbeat Lucene原理 • 索引创建-Indexing • 索引查询-Search index Lucene原理 • 索引创建indexing Docs Token Term Index Lucene原理 • 倒排索引表 Lucene原理 • 索引查询 词法 语法 检索 打分 query Term 语法树 doc result Lucene原理 • 索引查询，权重计算，相关性判断 • VSM 向量空间模型 ElasticSearch架构和插件 ElasticSearch架构和插件 • 分词插件 • 同步插件 • 数据传输插件 • 脚本插件 • Alert • Shield ElasticSearch-Aggregations Like facets but with more power Can be nested to add additional dimensions Give analytical insights into data Allow complex visualizations Major types: buckets and metrics Types: terms, histogram, percentiles, etc. ElasticSearch-Pipeline Aggregations Work on outputs of other aggregations Used for smoothing, prediction, etc. Different types: avg, derivative, max, min, sum moving avg, cumulative sum, etc. ElasticSearch管理和监控⼯具 •