浅谈Lucene在号百搜索引擎系统中集成.docVIP

浅谈Lucene在号百搜索引擎系统中集成 　　号码百事通系统是一个涉及多种电信信息资源、复杂业务关系的数据挖掘和信息服务支撑系统。其中坐席搜索功能是号百平台满足客户需求的接口，主要负责配合工作人员高效、精确的查询出客户所需资料并反馈；直接影响着客户感受和满意度。 　　号百平台基本搜索功能，主要通过具体的条件需求从现拥有的索引文件中提取出相应内容，后反查于数据库文件以显示详细信息；并要求保证易操作，高速，高效，高精准度。号百搜索引擎系统采用全文搜索引擎，它拥有自己的检索程序，自动从客户信息平台提取各种公开的信息（以文字为主），建立起标签和索引文件，搜索结果直接从自身的索引文件中调用，能检索与用户查询条件相匹配或相关的记录，按一定的排序规则返回结果（搜索条件符合度优先）。按字和按词是全文检索的两种主要方法。按字检索是指将各词组分开，给文中的每个字都分别建立独立检索。而各个语言不同，每个字的含义也不一样，就像英文里边的字其实就是词，但是中文里的字和词却是分开的，并且意思差别很大。按词检索则是针对文中的各词，建立词义单位的索引，检索时按词检索，并且可以处理同义项等。 　　号百搜索引擎的索引是以客户为中心，以客户基本属性和码号建立的索引，用户可以在这两方面进行双向查询；同时随着号百客户信息深度的增大（包括新增行业及其扩展信息），若这些扩展的信息不能在语音搜素引擎中使用，给电信带来很大的损失。为此，我们将在基础信息中扩展的部分也建立若干文档和索引的对应关系，在新建的文档索引和客户基本信息属性索引在相互间也存在对应关系，这样的设计能够带来扩展信息单独能够搜索，扩展信息可以和客户信息联合查询。 　　1 Lucene简介 　　Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整??全文检索引擎。 　　作为一个开放源代码项目，Lucene从问世之后，引发了开放源代码社群的巨大反响，程序员们不仅使用它构建具体的全文检索应用，而且将之集成到各种系统软件中去，以及构建Web应用，甚至某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。apache软件基金会的网站使用了Lucene作为全文检索的引擎，IBM的开源软件eclipse的2.1版本中也采用了Lucene作为帮助子系统的全文索引引擎，相应的IBM的商业软件Web Sphere中也采用了Lucene。Lucene以其开放源代码的特性、优异的索引结构、良好的系统架构获得了越来越多的应用。 　　Lucene作为一个全文检索引擎，其具有如下突出的优点。 　　（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。 　　（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。 　　（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。 　　（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。 　　（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search）、分组查询等等。 　　面对已经存在的商业全文检索引擎，Lucene也具有相当的优势。首先，它的开发源代码发行方式（遵守Apache Software License），在此基础上程序员不仅仅可以充分的利用Lucene所提供的强大功能，而且可以深入细致的学习到全文检索引擎制作技术和面相对象编程的实践，进而在此基础上根据应用的实际情况编写出更好的更适合当前应用的全文检索引擎。在这一点上，商业软件的灵活性远远不及Lucene。其次，Lucene秉承了开放源代码一贯的架构优良的优势，设计了一个合理而极具扩充能力的面向对象架构，程序员可以在Lucene的基础上扩充各种功能，比如扩充中文处理能力，从文本扩充到HTML、PDF等文本格式的处理，编写这些扩展的功能不仅仅不复杂，而且由于Lucene恰当合理的对系统设备做了程序上的抽象，扩展的功能也能轻易的达到跨平台的能力。最后，转移到apache软件基金会后，借助于apache软件基金会的网络平台，程序员可以方便的和开发者、