一种新的复合核函数及在问句检索中的应用精选.pdf

第 33 卷第 1 期 电 子 与 信 息 学 报 Vol.33No.1 2011 年 1 月 Journal of Electronics Information Technology Jan. 2011 一种新的复合核函数及在问句检索中的应用 王 君*① 李舟军① 胡 侠② 胡必云① ①(北京航空航天大学计算机学院 北京 100191) ②(新加坡国立大学计算机学院 新加坡 117590) 摘 要：问句检索在问答系统中有着重要的作用，其核心问题在于研究查询问句与候选问句之间的相似性计算问 题，实现问句之间的高精度匹配。该文采用树核函数的方法计算问句之间的结构相似性，并针对原有算法的不足， 做了相应的改进。为降低句法解析器性能对树核函数的影响，该文在改进的树核函数基础上，将其与字符串核结合， 提出了一种能同时融合问句的句法信息，词性信息和词序信息的复合核函数，用以计算问句之间的综合语义相似性。 在社区问答系统 Yahoo!Answer 的数据上进行测试，相对传统的基于词频的特征向量法，问句检索平均准确率提高 了 24.02%。 关键词：信息检索；问答系统；问句检索；复合核函数 中图分类号：TP391 文献标识码： A 文章编号：1009-5896(2011)01-0129-07 DOI: 10.3724/SP.J.1146.2010.00268 A Novel Composite Kernel and Application to Question Retrieval ① ① ② ① Wang Jun Li Zhou-jun Hu Xia Hu Bi-yun ① (School of Computer Science and Engineering, Beihang University, Beijing 100191, China) ② ( School of Computing, National University of Singapore, Singapore 117590) Abstract: Question retrieval plays important role in question and answering systems. The main problem is how to measure the similarity between candidate questions and query question. This paper presents a tree kernel based method, named weighted tree kernel, to calculate the similarity of sentences’ structures and proposes improvements to the original tree kernel algorithm. In order to reduce the effect on tree kernel bringing by syntactic parsing, a composite kernel is proposed based on the weighted tree kernel and two other string kernels, which can capture syntax, part-of-speech and lexical level information of a sentence, to calculate the sem