互联系后继树模型—一种新颖的全文检索模型.pdfVIP

计算机科学2003Vo1.30N-0.10(增刊) 互关联后继树模型 一种新颖的全文检索模型 inter-RelevantSuccessiveTreesModel-ANewFull-TextIndexModel 申 展 王建会 吴爱华 胡运发 (复旦大学计算机与信息技术系 上海200433) AbstractThekeyresearchworkontextdatabasesisfull-textindex,ofwhichtheprimaryproblemishowto chooseaneffectivefull-textindexmodel.Nowadaystherearesomepopularmodels,suchastheInvertedListmod- l,SignatureFilemodelandPatarraymodel.Butallthesemodelshavetheirowndisadvantages.Inthispapera newfull-textindexmodel-Inter-relevantSuccessiveTreesmodelisputforwardandoutperformsothermodels. Kevwords Full-textretrieval,Informationretrieval,Inter-relevantsuccessivetrees(ISTree) 不理想。 飞 引言 本文提出了一种新颖的全文检索模型— 互关 随着人类进入 “信息社会”时代步伐的加快，如 联后继树模型。它具有创建速度快，查询速度快，空 何有效地管理文本— 这种信息的主要载体就成为 间效率高等特点，并且可以通过索引生成原文，这样 当前一项紧迫的研究任务。文本是一种非结构化数 就可以完全抛弃原文。 据.与结构化数据有着巨大差异，因而对文本的检索 本文的结构如下:第2部分是互关联后继树模型 完全不同于对传统数据库(如关系数据库)的检索， 介绍;第3部分是相关的算法:包括索引模型的创建 不能通过传统数据库来实现，所以建立一种有效的 算法、原文生成算法和查询算法;第4部分介绍了一 全文检索模型就具有重要的现实和理论意义。 种精简模型;第5部分是实验与结果分析，最后是我 当前使用最广泛的全文检索模型是倒排表(In- 们的结论。 vertedList)模型.该模型创建索引的速度较快，但 2互关联后继树模型 是查询速度慢，空间开销也比较大。虽然ZobeWzl, GolombtI等人研究出了一些适用于倒排表的索引 设E是构成文本的基本符号单元的集合a,a2, 压缩算法，大大提高了倒排表的空间效率，但是压缩 二,a‘,a;EZ(i=1,2,,n)是I中的一些基本符 和解压，也增加了创建索引和检索的时间开销。 号，它们的有序组合便可构成一个文本.我们在每个 另一种全文检索模型— 署名文件(Signature 文本T的最后人为添加一个不在艺中的符号，以标 File)[,]，由于使用了散列函数.导致查询结果具有一 示该文本的结束，这个符号称为文本结束符，一般用 定的不确定性。FaloutsosEl和Christodoulakis[`〕分 ASCII为。的字符表示，在本文中，为了阅读方便，我 析了署名文件中存储空间与失败概率之间的折衷关 们使用“#”。通常把加入某一个索引库的所有文本 系。署名文件的各项性能均不如倒排表，这一点Zo- 的集合叫做该索引库对应的全文。 belt]进行了详细的论述。 定义1(前驱和后继) 对任意文本T中的任意 位图是一种非常简单的索引结构，使用方便，时 字符申alaz,a:称为的a:前驱;a:称为a，的后继，文本 间效率高，尤其适合布尔检索.但是即使使用了一些 最后一个字符的后继为文本结束符。 高效的位图压缩方法后，位图的空间开销还是特别