- 1、本文档共12页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
申明:原文来自html
1 lucene 简介
1.1 什么是 lucene
Lucene 是一个全文搜索框架,而不是应用产品。因此它并不像 或者 google
Desktop 那么拿来就能用,它只是提供了一种工具让你能实现这些产品。
1.2 lucene 能做什么
要 回答这个问题,先要了解lucene 的本质。实际上lucene 的功能很单一,说到底,就是你
给它若干个字符串,然后它为你提供一个全文搜索服务,告诉你 你要搜索的关键词出现在
哪里。知道了这个本质,你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新
闻都索引了,做个资料库;你可以把一个数据库 表的若干个字段索引起来,那就不用再担
心因为“%like%”而锁表了;你也可以写个自己的搜索引擎……
1.3 你该不该选择 lucene
下面给出一些测试数据,如果你觉得可以接受,那么可以选择。
测试一:250 万记录,300M 左右文本,生成索引 380M 左右,800 线程下平均处理时间
300ms 。
测试二:37000 记录,索引数据库中的两个 varchar 字段,索引文件 2.6M ,800 线程下平均
处理时间 1.5ms。
2 lucene 的工作方式
lucene 提供的服务实际包含两部分:一入一出。所谓入是写入,即将你提供的源(本质是字
符串)写入索引或者将其从索引中删除;所谓出是读出,即向用户提供全文搜索服务,让用
户可以通过关键词定位源。
2.1 写入流程
源字符串首先经过 analyzer 处理,包括:分词,分成一个个单词;去除 stopword (可选)。
将源中需要的信息加入 Document 的各个Field 中,并把需要索引的Field 索引起来,把需要
存储的 Field 存储起来。
将索引写入存储器,存储器可以是内存或磁盘。
2.2 读出流程
用户提供搜索关键词,经过 analyzer 处理。
对处理后的关键词搜索索引找出对应的 Document 。
用户根据需要从找到的 Document 中提取需要的Field 。
3 一些需要知道的概念
lucene 用到一些概念,了解它们的含义,有利于下面的讲解。
3.1 analyzer
Analyzer 是分析器,它的作用是把一个字符串按某种规则划分成一个个词语,并去除其中
的无效词语,这里说的无效词语是指英文中的“of”、 “the” ,中文中的 “ 的”、“地”等词语,
这些词语在文章中大量出现,但是本身不包含什么关键信息,去掉有利于缩小索引文件、提
高效率、提高命中率。
分词的规则千变万化,但目的只有一个:按语义划分。这点在英文中比较容易实现,因为英
文本身就是以单词为单位的,已经用空格分开;而中文则必须以某种方法将连成一片的句子
划分成一个个词语。具体划分方法下面再详细介绍,这里只需了解分析器的概念即可。
3.2 document
用户提供的源是一条条记录,它们可以是文本文件、字符串或者数据库表的一条记录等等。
一条记录经过索引之后,就是以一个 Document 的形式存储在索引文件中的。用户进行搜索,
也是以 Document 列表的形式返回。
3.3 field
一个 Document 可以包含多个信息域,例如一篇文章可以包含“标题”、“正文”、“最后修改时
间”等信息域,这些信息域就是通过 Field 在 Document 中存储的。
Field 有两个属性可选:存储和索引。通过存储属性你可以控制是否对这个 Field 进行存储;
通过索引属性你可以控制是否对该 Field 进行索引。这看起来似乎有些废话,事实上对这两
个属性的正确组合很重要,下面举例说明:
还 是以刚才的文章为例子,我们需要对标题和正文进行全文搜索,所以我们要把索引属性
设置为真,同时我们希望能直接从搜索结果中提取文章标题,所以我们把标题 域的存储属
性设置为真,但是由于正文域太大了,我们为了缩小索引文件大小,将正文域的存储属性设
置为假,当需要时再直接读取文件;我们只是希望能从搜索解 果中提取最后修改时间,不
需要对它进行搜索,所以我们把最后修改时间域的存储属性设置为真,索引属性设置为假。
上面的三个域涵盖了两个属性的三种组合,还 有一种全为假的没有用到,事实上 Field 不
允许你那么设置,因为既不存储又不索引的域是没有意义的。
3.4 term
term 是搜索的最小单位,它表示文档的一个词语,term 由两部分组成:它表示的词语和这
个词语所出现的 fie
文档评论(0)