用于信息检索的贝叶斯网络模型扩展.docxVIP

用于信息检索的贝叶斯网络模型扩展 　　(XX北大方正软件技术学院软件技术系，河北廊坊065000) 　　摘要：针对传统的信息检索方法采用基于关键词匹配的模式，导致查询效率低下的问题，利用同义词对查询术语进行扩展，提出了一种用于信息检索的贝叶斯网络模型扩展，并引入词共现的方法挖掘术语之间的相关关系。实验结果表明，新模型能够有效地提高检索效率。 　　关键词：贝叶斯网络；信息检索；同义词；词共现 　　中图分类号：TP391文献标识码：A文章编号：1007—6921(XX)22—0090—02 　　贝叶斯网络检索模型可以计算术语与术语，术语与文档之间的条件概率，但是网络拓扑结构显得很复杂，没有层次性。文献［1］给出了一种贝叶斯网络检索模型，该模型提出了一种新的可以称为传播+估计的推理技术，能够提高一定的检索速率。为了更好地利用贝叶斯网络，利用同义词扩展查询术语，并引入词共现的方法对基本的贝叶斯网络检索模型进行扩展，有效地提高了检索效率。 1相关知识 1.1同义词介绍 　　同义词的概念并不等同于语言学和日常生活中的同义词，它不考虑感情色彩和语气，主要是指能够相互替换、表达相同或相近概念的词汇［2］。同义词能从概念语义上表达用户的查询意图，如“电脑”—“计算机”，“重构”—“重组”等。 　　由于自然语言中存在大量的同义词和近义词，用户检索时很难全部列举出表示同一概念的不同词汇，因而造成了检索效率低下。为此，引入同义词扩展查询，可以检索到更多的文档。 1.2词共现方法 　　在信息检索中，如果两个词经常共同出现在文档的同一窗口单元，就认为两个词在意义上是相互关联的，并且共现的概率越高，其相互关联越紧密［3］。一般情况下，选择整篇文档作为窗口单元。 　　这里采用的词共现方法是基于统计学的理论，在文档经过处理后，用公式计算文档中任意两个术语和之间的相关系数。 　　740)this.width=740border=undefined 　　其中c(ti,tj)表示术语ti与tj共同出现的频率，c(ti)表示术语ti出现的频率，c(tj)表示术语tj出现的频率。 2用于信息检索的贝叶斯网络模型扩展 2.1模型的网络拓扑结构 　　文档集合d表示为d={d1，d2，…，dn}；这些文档的索引术语集合t表示为t={t1，t2，…，tm}。图1给出了贝叶斯网络模型扩展的拓扑结构，其中q被定义为查询术语节点，dk定义为文档节点，tj定义为索引术语节点，tj有一条指向被它索引的文档dk的弧。采用两个术语层来挖掘文档索引术语之间的关系，完740)this.width=740border=undefined 　　740)this.width=740border=undefined 2.2同义词的获取 　　在贝叶斯网络模型扩展中，每个查询术语的同义词都用来扩展查询，即如果从查询术语节点q有一条指向术语节点ti的弧，则表示ti是查询术语q的同义词。对每个查询术语q，通过同义词词典的方法找出其同义词，并存入集合R(q)中。 2.3术语之间关系的挖掘 　　与tj最相关的术语集合R(tj)用词共现方法来确定，因为术语tj和ti的相关系数与它们在文档中的权重有密切的联系，所以对公式进行改进： 　　740)this.width=740border=undefined 　　其中tfijk表示文档k中术语ti和tj同时出现的频率，dfij表示同时出现术语ti和tj的文档数目，mtitj表示术语ti和tj所包含的单词个数。 　　wjk表示术语tj在文档k中的权重，用公式进行计算：  　　740)this.width=740border=undefined 　　其中a是参数，满足0＜a＜1，用来控制考虑术语之间的相关关系对tj的相关概率的影响程度。 　　2.4.1.3术语tj的同义词或者相关词有可能是同一个术语，那么采用加权求均值的方法计算。 　　2.4.2索引术语和文档之间的条件概率计算： 　　740)this.width=740border=undefined 　　对给定的查询q，计算文档dk的最终后验概率p(d+k｜q)： 　　740)this.width=740border=undefined 　　根据以上推理，计算文档节点dk的后验概率P(d+k｜q)，整个的信息检索过程就完成了，最后将文档按照概率大小降序返回给用户。 3实验结果与分析 　　实验所用的文档来源于中国学术期刊网全文数据库，从该数据库中下载了300篇文档作为测试集合，经过处理后得到437个代表文档主要内容特征的索引术语，并针对这些文档构造了3个查询。在以上实验数据的基础上做基于贝叶斯网络模型的信息检索，表1中列