学习ES的笔记、全文检索、倒排索引、Lucene、ik中文分词器、Kibana使用DevTools.pdfVIP

学习ES的笔记、全⽂检索、倒排索引、Lucene、ik中⽂分词器、Kibana使⽤ DevTools ⽂章⽬录 感悟 学习即是⼀个开拓的过程，也是⼀个重构的过程 新接触的单词 metric adj.公制的；⽶制的；公尺的 n.度量标准 stats 统计 blog n.博客；部落格；⽹络⽇志 vi.写博客 vt.写...博客 incident 事件 Archive 美 / ˈɑːrkaɪv/ n.档案馆，档案⽂件；vt.把...存档 caution 英 / ˈkɔːʃn/ n.⼩⼼，谨慎；警告，警⽰ vt.警告 // providence 天意; sparrow n. ⿇雀；矮⼩的⼈ // eventually adv.最后， // thine 你的 莎⼠⽐亚的诗： This above all: to thine self be true 最重要的是:对⾃⼰忠实 There is nothing either good or bad, but thinking makes it so 事情本没有好与坏之分，只是被思想认为是那样 There’s a special providence in the fall of a sparrow ⼀只⿇雀的死是有特殊的天意的 No matter how dark long, may eventually in the day arrival最终; ⽆论天⿊有多长，⽩昼终将到来 知识点⼀：ES是什么? 1. ES全称ElasticSearch，是⼀个基于Lucene的搜索服务器。（其实就是对Lucene进⾏封装，提供了REST API的操作接⼝） 2. ElasticSearch作为⼀个⾼度可拓展的开源全⽂搜索和分析引擎，可⽤于快速的对⼤数据进⾏存储，搜索和分析。 3. ElasticSearch是基于Java开发的，并作为Apache许可条款下的开放源码发布，是⼀种流⾏的企业级搜索引擎。 4. 根据DB-Engines(数据库引擎)排名显⽰，ElasticSearch是最受欢迎的企业级搜索引擎。 5. ElasticSearch和Logstash （数据收集、⽇志解析引擎）、Kibana （分析和可视化平台）⼀起开发的。这三个产品被设计成⼀个集成解决⽅案， 称为 “Elastic Stack”(以前被称为ELK技术栈)。 知识点⼆ ：ES基本概念 1. cluster：整个ES默认就是集群状态，整个集群是⼀个完整的、互备的数据 2. node：集群中的⼀个节点，⼀般只⼀个进程就是⼀个node 3. shard：分⽚，即使是⼀个节点也要将数据通过hash算法，分成多个⽚存放，默认是5⽚(7.0版本后改为1⽚) 4. index：相当于rdbms的database(5.x),对于⽤户来说是⼀个逻辑型数据库，虽然物理上会被分多个shard存放，也可能存放在多个node中。6.x 7.x index相当于table 5. type：类似于rdbms的table，更像class对象，同⼀Json格式的数据集合。(6.x只允许建⽴⼀个，7.x版本舍弃) 6. document：类似于rdbms的row，⾯向对象的object 7. field：字段、属性 知识点三：1.1 什么是全⽂检索和Lucene？ 1.针对互联⽹上的数据，可以使⽤http协议抓取html⽹页到本地，进⽽⽣成⼀个html⽂件； 2.针对关系型数据库中的数据，可以连接数据库读取表中的数据； 3.针对⽂件系统中的数据，可以通过流读取⽂件系统中的⽂件。 知识点四：1.2 什么是倒排索引，Lucene实现全⽂检索的流程是怎样？ 倒排索引：创建索引是对语汇单元索引，通过词语找⽂档，这种索引的结构叫{倒排索引结构}。倒排索引结构也叫{反向索引结构}，包 括索引和⽂档两个部分，索引即词汇表，它的规模较⼩，⽽⽂档集合较⼤ Lucene实现全⽂检索的流程： 1.索引创建和搜索流程图： || 这⾥随后换成Flowchart || 原始⽂档-创建索引-{1.获取⽂档-2.构建⽂档对象-3.分析⽂档(分词)-4.创建索引}-索引库(返回结果-)