应用ExcelPanel核心组件构建全文检索功能.docxVIP

TOC \o 1-5 \h \z 第一章、概述 3 全文检索的基本概念 3 全文检索的评价标准 4 当前较为成熟的全文检索引擎 5 Lucence 5 FirteX 6 Solr 6 使用Excel Panel建立适合于项目的全文检索引擎 7 ExcelPanel中有关全文检索的函数 7 利用ExcelPanel建立全文检索引擎的优势 8 实战示例 9 \o Current Document 第二章、PowerBuilder/Delphi 系统中应用 10 在建立应用之前，我们首先假定以下的需求。 10 好了，需求进行了明确，下面我们对其进行设计。 10 编程实现示例。 11 3.1.内容扫描与索引建立部分 11 \o Current Document 第三章、Java系统中应用 18 \o Current Document 在建立应用之前，我们首先假定以下的需求 18 好了，需求进行了明确，下面我们对其进行设计 18 编程实现示例 19 3.1 内容扫描与索引建立部分 19 \o Current Document 3.2 全文检索及显示部分 22 在建立应用之前，我们首先假定以下的需求 26 好了，需求进行了明确，下面我们对其进行设计 27 编程实现示例（略） 28 Aye Aye : 第一早、 全文检索的基本概念 全文检索是指计算机索引程序通过扫描文档中的每一个词，对每 一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户 查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果 反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字 的过程。 通过以上定义，我们可以很清楚地认识到要建立一个全文检索引 擎所需要做的工作步骤: 文档解析 不管是什么格式的文档，都需要为其建立一个可以被计 算机索引扫描程序扫描的文本内容过滤器，这就是在全文 检索领域内常说的IFiltero 建立索引 就索引本身而言，根据全文检索的数据量和软件管理需 要，一般存储为本地二进制文件或数据库两种类型，如果 数据量不是很大，其实也没有建立完整全文检索功能的必 要，使用开发语言的字符串定位功能基本能满足要求，相 反，既然程序中产生了全文检索的需求，一般说来，数据 量比较大或者说极其大，本文只针对数据量比较大这种情 况提供解决方案，对极其大的方案尽量釆用正规成熟的搜 索引擎如 Google 等。 计算机索引程序 要建立索引，就需要对文档内容进行索引扫描，分清楚 什么是词，出现次数和位置，对英文内容来说，建立索引 程序相对比较简单，只需要根据单词间隔符来分隔单词即 可实现文档内容解析，但是对中文内容来说，复杂程序一 下子就高出了很多倍，我们都知道，在一篇中文的文章中, 汉字不同的组合表达不同的含义，有些词组合了才是词， 而有的字在上文环境中又不需要组合，有的汉字组合在这 句话中是词，在另一句话中就不是词。这里举个最简单的 例子:1995年江泽民到天津视察，一见到天津的脏乱差 状况，江泽民生气了”与“我昨天在民生银行还了 3500元 的贷款”，以上两句话中，在第一句话中，“民生”就不是 一个词组，而在第二句话中却是一个词组。另外，中文还 存在多音字这种情形，因此为中文的索引分词带来更加复 杂的问题。全文检索是否准确，中文分词是关键。 全文搜索 建立好索引后进行全文搜索就是一件相对比较简单的 事情了，先对输入搜索内容进行分词，然后对搜索分词在 全文索引中进行检索，将检索到的内容返回到计算机界面 即可。 全文检索的评价标准 三、当前较为成熟的全文检索引擎 Lucence 這乙见Qg■加S「Lucene不是一个完整的全文 索引应用，而是是一个用Java写的全文索引引擎工具包， 它可以方便的嵌入到各种应用中实现针对应用的全文索引 /检索功能。Lucene的作者Doug Cutting是一位资深全文索 引/检索专家，曾经是V-Twin搜索引擎（Apple的Copland 操作系统的成就之一）的主要开发者，后在Excite担任高级 系统架构设计师，目前从事于一些INTERNET底层架构的 研究。他贡献出Lucene的目标是为各种中小型应用程序加 入全文检索功能,2001年年底成为APACHE基金会jakarta 的一个子项目。已经有很多Java项目都使用了 Lucene作 为其后台的全文索引引擎，比较著名的有： ? Jive： WEB论坛系统。 Eyebrows：邮件列表HTML归档/浏览/查询系统，本文的 主要参考文档TheLucene search engine: Powerful, flexible, and free”作者就是EyeBrows系统的主要开发者之一，而 EyeBrows已经成为目前APACHE项目的主要邮件列表