基于主题模型的短文本查询扩展算法.docVIP

  基于主题模型的短文本查询扩展算法 刘润楠，陈光** （北京邮电大学信息与通信工程学院，北京 100876） 5 10 摘要：近年来，微博短文本语料下的信息检索需求日益突出。查询扩展作为信息检索领域的 关键技术，对于查询结果的优化具有非常重要的作用。本文提出了一种基于 Bayes-LDA 模 型的微博语料建模方法，该模型能够在保证建模质量的基础上对微博短文本的完整建模；并 设计了基于以上模型的微博语料查询扩展算法，其核心是将 Bayes-LDA 的建模结果应用于 特征词的生成与选择、查询结果重排序等操作，从而提高短文本查询的效果。实验结果表明， 该算法在 TREC 2011 年微博评测的数据集中的多种主要性能指标均优于 BM25 伪相关反馈 方法。 关键词：自然语言处理；查询扩展；LDA 模型；短文本；贝叶斯理论；伪相关反馈 中图分类号：TP391.4 15 SHORT TEXT QUERY EXPANSION BASED ON TOPIC MODEL Liu Runnan, Chen Guang (School of Information and Communication Engineering, Beijing University of Posts and 20 25 30 35 40 Telecommunications, Beijing 100876) Abstract: In recent years, the requirement of microblog retrieval is becoming more. As a key technology in the field of information retrieval, query expansion is vital to optimize retrieved results. This paper proposes a Bayes-LDA based modeling method on microblog. The model can guarantee the quality and completeness of the modeling on short texts such as microblogs. We design a query expansion algorithm based on this model. Its core thought is to apply the modeling results of Bayes-LDA to the generation of expansion features and the re-ranking of search results. The experiments show that this algorithm has a better performance of various indicators on the TREC 2011 Microblog evaluation corpus than the BM25 pseudo-relevance feedback method. Key words: Natural Language Processing; Query Expansion; LDA Model; Short Texts; Bayesian Theory; Pseudo-relevance Feedback 0 引言 近年来，微博已经成为一种混合了社交网站的属性及大众媒体的作用的新型网络应用， 在热点新闻和各类信息发布中的重要性愈发显现，并深刻影响着社会舆论的走向。面对数以 千万计的、实时更新的微博数据，用户需要一种方便快捷的方式获取信息。因此微博短文本 语料下的信息检索需求日益突出。但是目前包括微博在内的短文本搜索仅仅是基于原始查询 的简单检索，查询效果和用户体验都很难的到保障。产生这种现象的原因如下：首先，由于 微博发送量巨大，关键字匹配的方法得到的查询结果很多，且中文微博中转微博比例大，导 致返回结果出现很多相同内容；另一方面，因为短文本长度限制，包含信息量有限，且口语 化严重，书写随意，由此这类搜索方式得到的结果非常不利于用户获取信息。这就需要我们 在现有搜索框架的基础上，针对短文本语料的特性设计有效的搜索结果优化策略。 文献[1]将伪相关反馈方法提取的扩展词分为 3 类，使用单主题平均准确（mean average 作者简介：刘润楠（1988-），男，北京邮电大学在读硕士研究生，web 多媒体搜索与挖掘 通信联系人：陈光（1978-），男，北京邮电大学硕士研究生导师，信息检索、文本挖掘及可视化. chenguang@ -