基于知识的智能问答技术 .pdf

第1章绪论

题目：基于知识的智能问答技术（PDF）

作者：许坤，冯岩松（北京大学）

————————————————————

作者简介：

许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问

答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4,5,6中获

得第一名。

冯岩松，北京大学计算机科学与技术研究所讲师。2011年毕业于英国爱丁堡大

学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能

问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化

知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、

EMNLP等主流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然

科学基金及科技部863计划项目。分别在2014和2015年获得IBM

FacultyAward。

引言

近年来，信息抽取技术的快速发展使得快速构建大规模结构化、半结构化知识库

成为可能。一大批结构化知识库如雨后春笋般涌现出来，如GoogleKnolwedge

页脚内容

第1章绪论

Graph（Freebase）、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企

业内部的知识图谱等。

同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。

相比于传统基于文本检索的问答系统，利用知识库回答自然语言问题可以为用户

提供更精确、简洁的答案，因此一直受到学术界和工业界的广泛关注。

目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这

类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化

语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自

然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构

化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式

与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在

Freebase中并没有“爸爸”或“妈妈”这样的谓词关系，只有“父母”，因此，如果

想表示“A是B的母亲”这样的关系，则需明确表示为“B,父母,A”并且

“A,性别,女性”。

另一类知识问答技术是传统的基于信息检索的方法。这类方法不会将自

然语言问题完全转换成形式化的语义描述，而是首先利用实体链接技术从知识库

中收集候选答案集合，然后构建排序模型对候选答案进行排序。因为不需要完整

地解析自然语言问题的语义结构，因此，这类方法构造训练数据的过程相对简单，

只需收集问题答案对即可。实验表明,基于检索的方法对语义简单的自然语言问

题比较有效，但是难以处理语义结构复杂的问题，尤其是包含多个实体和关系的

自然语言问题。例如，对于自然语言问题“Whatmountainisthehighestin

NorthAmerica？”，检索类的方法由于缺乏对highest的正确解析，通常会将

所有坐落在北美的山脉返回给用户。事实上，为了得到正确的答案，问答系统还

页脚内容

第1章绪论

需要根据山脉高度对候选答案进行排序，并选择海拔最高的山脉返回给用户。该

过程通常需要人工编写解析规则对答案进行筛选，费时费力。此外，由于自然语

言描述的多样性，人们也无法事先穷举所有这样的规则。

然而事实上，Freebase这样的结构化知识库希望存储关于真实世界的知

识条目，而像维基百科页面这样的文本百科资源则存储支持这些事实的文本描

述。例如，在维基百科页面中，我们可以找到一段与候选答案有关的文本

Denali(alsoknownasMountMcKinley,itsformerofficialname)isthe

highestmountainpeakinNorthAmerica,withasummitelevationof

20,310feet(6,190m)abovesealevel。

很明显可以看出，这段文本描述可以帮助我们提升Denali或者Mount