关于基于用户查询日志的命名实体挖掘.pdfVIP

基于用户查询日志的命名实体挖掘* 翟海军 ，郭嘉丰，王小磊，许洪波 中国科学技术大学 计算机科学与技术系 安徽 230027 E-mail: zhaihaijun@ 摘 要：本文研究了针对大规模查询日志中丰富的命名实体的挖掘技术。已有的研究工作提出了一种基于种子实 体的抽取框架，利用实体间的分布相似度来进行挖掘。然而该工作只有当种子实体仅属于单个语义类别时才能取 得好的结果，而实际命名实体却往往可能从属于多个类别。本文通过引入一个弱指导话题模型，利用少量的人工 指导信息，很好地解决了实体的类别模糊性，提高了挖掘的有效性。实验表明我们的方法在实体挖掘性能上显著 优于已有的方法。 关键词：命名实体，用户查询日志，话题模型 Mining Named Entities from Query Logs Zhai Haijun，Guo Jiafeng，Wang Xiaolei，Xu Hongbo Department of Computer Science and Technology, University of Science Technology of China, Anhui 230027 E-mail: zhaihaijun@ Abstract ：This paper addresses the problem of mining named entities from query logs. Previous work proposed a seed-based framework to mine named entities from query logs by leveraging distribution similarity. However, this framework works well when each named entity only belongs to one semantic class. In fact, named entities may often belong to multiple classes. In this paper, we introduce a weakly-supervised topic model to resolve class ambiguity of named entities by leveraging weak supervision from human. In this way we can greatly improve the effectiveness of the mining framework. The experiment results show that our approach significantly outperforms the previous method. Keywords：named entity, query log, topic model. 1 引言 近年来，数据挖掘领域的一个共同的发展趋势是对大规模数据信息抽取技术的研究，尽管 这些研究工作在抽取的目标信息、底层算法以及使用工具上可能各有不同。其中，用户查询日志 作为一类富含大众智慧的海量数据资源，成为了数据挖掘领域广泛关注的研究对象。从查询日志 中获取的各种知识不仅可以为信息检索领域所用，还可以成为机器翻译、自然语言处理等等领域 的基础。本文研究了针对大规模查询日志中丰富的命名实体的挖掘技术。对查询日志中命名实体 的挖掘在垂直搜索，查询推荐，以及Web 检索等方面都有广泛的应用前景。例如用户提交了查 询“the family stone ”，基于命名实体挖掘的结果可以知道“the family stone ”是指一部电影，通 过将该查询提交到影视相关的垂直搜索中，返回的查询