基于知识的智能问答技术汇编.docx

题目：基于知识的智能问答技术（PDF）作者：许坤，冯岩松（北京大学）————————————————————作者简介：许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4, 5, 6中获得第一名。冯岩松，北京大学计算机科学与技术研究所讲师。2011年毕业于英国爱丁堡大学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、EMNLP等主流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然科学基金及科技部863计划项目。分别在 2014 和 2015 年获得 IBM Faculty Award。引言近年来，信息抽取技术的快速发展使得快速构建大规模结构化、半结构化知识库成为可能。一大批结构化知识库如雨后春笋般涌现出来，如Google Knolwedge Graph （Freebase）、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企业内部的知识图谱等。同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。相比于传统基于文本检索的问答系统，利用知识库回答自然语言问题可以为用户提供更精确、简洁的答案，因此一直受到学术界和工业界的广泛关注。目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在Freebase中并没有“爸爸”或“妈妈”这样的谓词关系，只有“父母”，因此，如果想表示 “A 是 B的母亲”这样的关系，则需明确表示为“B,父母,A” 并且 “A, 性别, 女性”。?????? 另一类知识问答技术是传统的基于信息检索的方法。这类方法不会将自然语言问题完全转换成形式化的语义描述，而是首先利用实体链接技术从知识库中收集候选答案集合，然后构建排序模型对候选答案进行排序。因为不需要完整地解析自然语言问题的语义结构，因此，这类方法构造训练数据的过程相对简单，只需收集问题答案对即可。实验表明,基于检索的方法对语义简单的自然语言问题比较有效，但是难以处理语义结构复杂的问题，尤其是包含多个实体和关系的自然语言问题。例如，对于自然语言问题“What mountain is the highest in North America？”，检索类的方法由于缺乏对highest的正确解析，通常会将所有坐落在北美的山脉返回给用户。事实上，为了得到正确的答案，问答系统还需要根据山脉高度对候选答案进行排序，并选择海拔最高的山脉返回给用户。该过程通常需要人工编写解析规则对答案进行筛选，费时费力。此外，由于自然语言描述的多样性，人们也无法事先穷举所有这样的规则。?????? 然而事实上，Freebase这样的结构化知识库希望存储关于真实世界的知识条目，而像维基百科页面这样的文本百科资源则存储支持这些事实的文本描述。例如，在维基百科页面中，我们可以找到一段与候选答案有关的文本Denali (also known as Mount McKinley, its former official name) is the highest mountain peak in North America, with a summit elevation of 20,310 feet (6,190 m) above sea level。很明显可以看出，这段文本描述可以帮助我们提升 Denali 或者 Mount McKinley 作为正确答案的置信度，并过滤掉候选集中的错误答案。正是受到这个发现的启发，我们提出同时利用结构化知识库与可信的文本百科资源，如维基百科页面，来回答知识类自然语言问题。基于多种知识资源的问答技术框架图1：针对问题who did shaq first play for的流程图以样例问题who did shaq first play for的处理流程为例，图1展示了融合多种知识资源的问答框架。该问答系统框架主要包含基于结构化知识库Freebase的问题求解和基于非结构化知识资源Wikipedia文本的浅层推理。基于结构化知识库的问题求解基于结构化知识资源的问题求解部分只需给出候选答案集合即可，因此既可采用基于语义解析的方法