词分布分析在信息检索相关排序中的应用研究 - 华东师范大学学报 .pdf

第３５卷 第１期 世界科技研究与发展 Ｖｏｌ．３５ Ｎｏ．１ 　 　 ２０１３年２月 ４９－５１页 ＷＯＲＬＤＳＣＩＴＥＣＨＲ＆Ｄ Ｆｅｂ．２０１３ ｐｐ．４９－５１ 词分布分析在信息检索相关排序中的应用研究 罗　军　赵松涛 （重庆大学计算机学院，重庆４０００４４） 摘　要：提出词分布分析的方法，通过词的分段频数离散度和出现位置四分位数计算出查询词的分布权重，并将其与已有的基于 向量空间模型（ＶＳＭ）的算法和ＢＭ２５算法相结合，改进了已有排序算法。实验结果表明，该方法对已有算法的排序效果确有提 高。 关键词：词分布分析；相关排序；权重计算；信息检索 中图分类号：ＴＰ３９１　　　文献标识码：Ａ　　　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６－６０５５．２０１３．０１．０１４ ＲｅｓｅａｒｃｈｅｓｏｎＴｅｒｍＤｉｓｔｒｉｂｕｔｉｏｎＡｎａｌｙｓｉｓｓＡｐｐｌｉｃａｔｉｏｎｉｎＲｅｌｅｖａｎｃｅＲａｎｋｉｎｇ ＬＵＯＪｕｎ　ＺＨＡＯＳｏｎｇｔａｏ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ４０００４４） Ａｂｓｔｒａｃｔ：Ａｔｅｒｍｄｉｓｔｒｉｂｕｔｉｏｎａｎａｌｙｓｉｓａｐｐｒｏａｃｈｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｓｗｅｉｇｈｔｉｓｃａｌｃｕｌａｔｅｄｔｈｒｏｕｇｈｔｅｒｍｓｓｅｇｍｅｎｔｅｄｆｒｅｑｕｅｎｃｙｄｉｓ ｐｅｒｓｉｏｎａｎｄｔｅｒｍｓｏｃｃｕｒｒｅｎｃｅｐｏｓｉｔｉｏｎｓｑｕａｒｔｉｌｅ，ｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｃｕｒｒｅｎｔｌｙｅｘｉｓｔｅｄＶＳＭｂａｓｅｄａｌｇｏｒｉｔｈｍａｎｄＢＭ２５ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈｉｍ ｐｒｏｖｅｄｔｈｅｅｘｉｓｔｅｄｒａｎｋｉｎｇａｌｇｏｒｉｔｈｍｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｅｘｉｓｔｅｄａｌｇｏｒｉｔｈｍｓｒａｎｋｉｎｇｒｅｓｕｌｔｓａｒｅｔｒｕｌｙｉｍｐｒｏｖｅｄｂｙｔｈｉｓｎｅｗａｐ ｐｒｏａｃｈ． Ｋｅｙｗｏｒｄｓ：ｔｅｒｍｄｉｓｔｒｉｂｕｔｉｏｎａｎａｌｙｓｉｓ；ｒｅｌｅｖａｎｃｅｒａｎｋｉｎｇ；ｗｅｉｇｈｉｎｇ；ｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ 关排序的效果。 １　引言 ２　常用的相关排序算法 信息检索的检索过程大致可以分为两部分，从索引文件 中找出包含查询关键词的文档和对文档进行相关排序。其 ２．１　基于ＶＳＭ的算法 中，相关排序是指检索系统在输出检索结果时，按照文档与 基于向量空间模型ＶＳＭ的算法是全文检索领域中广泛 查询之间相关程度的大小对文档排序，使得相关度大的文档 使用的一种相关排序算法，其概念简单，应用方便，基本思 想：把文档 和查询 看成由一系列相对独立的词组成，用 排在前面，相关度小的文档排在后面，从而提高检索的效率 ｄ ｑ 和准确性。相关排序是信息检索中的一项重要技术，也是检 ＴＦＩＤＦ因子［１０，１１］计算出每个词的权重，定义由词