针对Lucene的面向主题信息搜索系统的关键技术分析及应用.pdfVIP

摘要 网络信息的爆炸性增长使搜索引擎成为人们上网必不可少的工具之一。其 中应用最广泛的是以Goolge、百度为代表的综合性搜索引擎，这类搜索引擎服 务对象是网络大众用户它为广大网络用户在查找信息上提供了很大的方便。但 随之而来的查找结果的准确率低，其一是因为由于抓取网页数量以指数级别增 大，对这些网页的预处理能力降低，致使查询结果中存在大量重复网页；其二， 人们由于生活环境与工作环境的不同，对信息关注方向也不同，例如一个气象 工作人员，他们希望查询到的结果会把与气象相关的网页优先排序在前几页， 而一个农业工作者希望将与农产品相关的网页优先显示，这样一来综合性搜索 引擎便无法满足这类专业领域人员的需求了。在这种背景下面向主题的搜索引 擎应运而生。 面向主题的搜索引擎系统与综合性网页搜索引擎最大的区别就是对网页信 息进行了结构化信息抽取，这样做的好处是，在把网页分化成小粒度的单元后， 更加方便对网页文档的内容进行加工处理，如网页净化、去重等。由于搜索引 擎中运作着的各部分是环环相扣，当有了质量较高的网页预处理过程，接下来 可以减小索引的负担，且搜索出的结果准确率更高，使用户有更高的体验度。 面向主题搜索系统中，将它分为四大主要部分，分别为：数据搜集模块、 网页预处理模块、索引模块、搜索模块。其中，网页预处理模块又可以分为网 页净化和网页消重模块。在面向主题的搜索引擎中会使用到许多技术，为了更 加贴合主题搜索，对其中的几种技术进行改进，主要工作如下： 首先，介绍了网页爬虫Heritrix的使用，在原抓取的技术上，添加了在抓取 过程中进行了URL匹配判断的功能，使Heritrix爬行的结果更加贴合主题。 页来以达到网页净化与消重的目的。网页预处理过程在面向主题搜索系统中有 着举足轻重的作用，详细描述了网页净化的算法，在网页消重中描述了当前主 流的指纹消重算法，并探讨了几种对指纹的“原材料一特征串的提取的几种 方法，并指出它们在实际运用中判断重复网页准确率上的不足。针对这一情况， 在算法中引入一种文档分段算法一TextTiling分段算法，并在原有算法的基础上 加入同义词集对TextTiling算法进行改进，使之能更好的适应中文文档中同义词 的变化。最后对基于权值的和本文提出的基于改进后的TextTiling分段算法在实 际网页消重中进行实验比较，有效地对网页消重中有待完善的方面进行了补充。 再次，介绍了本文中建立索引和提供搜索接口的核心技术Lucene，详细描 述了Lucene工作原理，对于Lucene中的索引建立采用了多线程技术，大大提高 其索引效率；详细分析了Lucene的排序过程及其公式，并在原有排序公式的基 础上提出适合主题搜索的排序公式。 最后，在对面向主题的搜索系统进行研究后，设计了一个供气象人员使用 的主题搜索引擎系统，系统中还加入一些个性化设置，如热点词推荐和网页预 览功能。热点词推荐是利用索引后的文件按一定算法对最近使用频繁的词语进 行搜集并呈现给用户；网页预览功能是让用户在不用打开一篇网页的基础上对 网页的内容进行浏览。 II Abstract all makesearch become networkinformation engines The of growth explosive search most engine ofthe t001．One representativecomprehensive indispensable tothe