Lucene全文数据库的研究.pdfVIP

7—217 Imcene全文数据库研究 1赵汀2孟祥武 544) l(中国地质科学院矿产资源研究所北京100037 2(北京邮电大学计算机科学与技术学院北京100876) Software 摘要：Lucene Foundation提供的一个共享的软件开发类库，可以免费下载执 API是Apache 工作。本论文研究了Lucene全文数据库的建库方法、文件结梅等，并与现有的主流全文数据库对比 分析，说明了它的优点、缺点。 关健词：中文信息处理全文数据库全文检索 1．引言 随着国际互联网的迅速发展，以№tnct为载体的中文电子信息愈来愈多，如网上新闻、网上电子 期刊、数字图书馆等，产生了大量的有重复利用价值的信息，这些长期积累的电子信息一般是以 HTML或其他纯文本文件的形式存在，有如下特点： I)内容丰富，全文一般都比较长； 2)文件结构不规律，因为内容多样，所以文档很难用固定的格式规范； 3)数据量大，象新闻、数字图书馆等有可能达到超过1G的数据量； 4)中英文混合，这种情况非常普遍。 如何科学高效地去管理这些信息，使它在最短的时间内最大限度地发挥它的价值，是信息工作者 面临的～个难题。这样就需要一种中文全文数据库软件，专门用于存储和查询这些电子文件，并且支 持网上查询，由于在这些文档中也存在大量的英文内容，所以需要支持中英文混合蠢询。 在LuceneAPI的基础上开发中文全文数据库是一种有效、低成本的选择，因为Lucre全文数据库 采用倒排文件索引技术，所以查询速度优于关系型数据库，而且可以免费下载。 2．1数据库的文件结构 无论关系型数据库还是全文数据库最终数据都是以文件形式存在的，我们可以通过研究Lucene 的数据库文件结构，了解Lucene是如何管理数据库，表2．1列出了数据库文件的分类及作用 囊2．1Latae全文教据库的文件螬构 文件名 作 用 Ddetable 可以删除的文献的ID值 文献的Ⅲ号，对于每一篇文献就是一个记录，在库中都有一个惟一的Ⅲ号表 sc群眈n扭 示 一．伍 。暗mhk-保存单字索引文件 。I∞∞确—聚薛每个单字囊引婀唐^，冉体敦据结构是f，札丘qL％p∞I·， 一．tis t是单字索引df代表所有文献中t出现的总次散，蛐表示单字索引在．如文 件中出现的位置，l，Ic代表单字索引在一．缸文件中出现的位量 ．蛔 ’term h科眦，这个文件记录了每个单字索引分别在每一个文献中出现的囊率 『u毕∥ 7_218 缠衰 文件名 作 用 4team叫6加一这个文件记录了每个单字索引分别在每一个篇文献中出现的顺 序位置．顺序位置是指每个单字出现的先后顺序数字．而不是单字在文献中的物