搜索引擎开发实践全文检索与Lucene简介.PPT

概 述 作业讲解：Lucene源代码项目 倒排索引的原理 Lucene的整体结构 Lucene基本概念 Lucene3.0常用API的介绍与使用 Lucene中的压缩算法 作业讲解：Lucene源代码项目 从SVN下载Lucene源代码 TortoiseSVN Export /repos/asf/lucene/dev/trunk/lucene 把Lucene源代码导入Eclipse Lucene中的基本概念 索引(Index)：文档的集合组成索引。和一般的数据库不一样，Lucene不支持定义主键，但Solr支持。 为了方便索引大量的文档，Lucene中的一个索引分成若干个子索引，叫做段(segment)。段中包含了一些可搜索的文档。 文档(Document)：代表索引库中的一条记录。一个文档可以包含多个列(Field)。和一般的数据库不一样，一个文档的一个列可以有多个值。例如一篇文档既可以属于互联网类，又可以属于科技类。 列(Field)：命名的词的集合。 词(Term) ：由两个值定义——词语和这个词语所出现的列。 倒排索引是基于词(Term)的搜索。 Lucene的整体结构 索引相关类 向索引增加文档 一个索引和一个数据库表类似，但是数据库中是先定义表结构后使用。但Lucene在放数据的时候定义字段结构。 Document doc = new Document(); //创建网址列 Field f = new Field(“url”, news.URL , //news.URL 存放url地址的值 Field.Store.YES, Field.Index. NOT_ANALYZED,//不分词 Field.TermVector.NO); doc.add(f); //创建标题列 f = new Field(“title”, news.title , //news.title 存放标题的值 Field.Store.YES, Field.Index.ANALYZED,//分词 Field.TermVector.WITH_POSITIONS_OFFSETS);//存Token位置信息 doc.add(f); //创建内容列 f = new Field(“body”, news.body , //news.body 存放内容列的值 Field.Store.YES, Field.Index. ANALYZED, //分词 Field.TermVector.WITH_POSITIONS_OFFSETS); //存Token位置信息 doc.add(f); index.addDocument(doc); //把一个文档加入索引 查询语法 加权 solr^4 lucene 修饰符 + - NOT +solr lucene 布尔操作符 OR AND (solr OR lucene) AND user 按域查询 title:NBA QueryParser QueryParser将输入查询字串解析为Lucene Query对象。 QueryParser是使用JavaCC(Java Compiler Compiler )工具生成的词法解析器。 QueryParser.jj中定义了查询语法。 需要让QueryParser更好的支持中文，例如全角空格等? 分析器(Analyzer) 分析公司名的流程 Analyzer analyzer = new CompanyAnalyzer(); TokenStream ts = analyzer.tokenStream(“title, new StringReader(北京盈智星科技发展有限公司)); while (ts.incrementToken()) { System.out.println(token: +ts)); } 最基本的词条查询-TermQuery 一般用于查询不切分的字段或者基本词 IndexSearcher isearcher = new IndexSearcher(directory, true); //查询url地址列 Term term = new Term(url,); TermQuery query = new TermQuery(term); //返回前1000