知识库构建前沿.pdfVIP

知识库构建前沿：自动和半自动知识提取 编者按：在过去几十年，人们曾尝试采用直接编辑知识、利用大众智慧、自动或 半自动知识抽取三类方法来构建知识库。随着时代发展，直接编辑知识由于受时 间和经济成本的约束，这种方式很难实现大规模知识库的构建。而利用大众智慧 是指利用互联网众包机制，过于依赖激励机制将降低知识库运行稳定性。微软亚 洲研究院主管研究员史树明在本文中重点讨论第三类方法—— 自动或半自动知 识抽取，其基本思想是设计自动或半自动的算法，从现有的（自然语言）文档中 提取知识。这个过程又被称为信息提取，定义为从非结构化和半结构化文本中提 取结构化信息。 微软亚洲研究院主管研究员 史树明 正如动物依靠对环境和食物的认知来维持生存、人类依靠知识和技能来扮演社会 角色一样，计算机应用程序和系统也依赖特定的 “知识”来完成特定的功能。近 些年，包括互联网搜索系统、自动导航系统、自动问答系统、机器翻译系统、语 音识别系统等在内的智能系统取得了巨大进展，其背后是更深、更广、更新和更 加准确的知识库的构建和使用。 人类通过五官来获取知识，并通过语言和文字来实现知识的交流、共享和传承， 由此建立起人类庞大的知识体系。然而，这些丰富的知识并不能够被计算机系统 自然而直接地使用，原因在于当前的计算机程序远未达到理解自然语言和洞悉人 类智慧的程度和水平（甚至不少人怀疑这一天能否到来）。而我们又确实需要计 算机系统能够具备一些知识，以便在不威胁到人类生存的前提下帮助人类完成一 些 “高级”任务。因此，我们的目标便自然地设定为以合理的代价构建一个尽可 能丰富、准确和与时俱进的知识库。 在过去几十年，人们曾尝试采用直接编辑知识、利用大众智慧、自动或半自动知 识抽取三类方法来构建知识库。 直接编辑知识是指知识编辑人员把自己头脑中的知识写成计算机能够处理的格 式，例如把 “狗是一种动物”写成 “IsA（狗，动物）”。在这种情况下，知识的 编辑工作通常由从事知识库构建的研发人员或者数据标定人员来完成。受时间和 经济成本的约束，这种方式很难实现大规模知识库的构建。利用大众智慧是指利 用互联网众包机制，把知识编辑工作交给成千上万的互联网志愿者大军，知识库 Freebase 的维护就依赖于这种机制。众包的核心是设计合理的激励机制，使互 联网用户利用业余时间向知识库贡献一些信息。本文重点讨论第三类方法—— 自 动或半自动知识抽取，其基本思想是设计自动或半自动的算法，从现有的（自然 语言）文档中提取知识。这个过程又被称为信息提取，定义为从非结构化和半结 构化文本中提取结构化信息。由于抽取算法的选择往往依赖于所要进行的知识提 取任务，因此我们首先介绍知识类型和提取任务。  知识类型和知识提取任务 当前多数智能系统所涉及到的主要知识基本上可以表示为一个包含多种不同类 型的结点和边的知识图以及图结点之间的关系集合。图 1 展示了一个简单的知 识子图，而表 1 则列举了此子图上一些结点之间的关系。 1. 知识类型 知识图中可能包含三类结点： 实体 如某一个人物、某一个国家、某一个机构、某一条狗、某一种编程语言、某 一个学科等。图 1 中的实体包括 E1、E2 和 E3。 语义类 一种类型的实体或一些实体的集合，如国家、亚洲国家、动物、山脉等。 图 1 中 C1、C2、C3 为语义类。 文本 通常作为实体和语义类的名字、描述等，如图 1 中的 T1~T4 。 知识图中结点之间的边的类型包括： 实体—语义类 从一个实体指向它所属的语义类。此类型的边在图 1 中标记为 “类”。 子类—父类 从一个语义类指向其父类，在图 1 中用 “超类”来标识。 属性 从一个实体指向它的属性值。不同的属性类型对应于不同类型的边，如图 1 中 “出生地”和 “妻子”是两种不同的属性。所有实体和语义类都拥有一个特殊 的属性 “名字” ，它指向文本类型的结点，表示此实体或语义类的名字或自然语 言表达（如中文名、英文名等）。 对于 “关系” ，维基百科给出了很好的定义和描述，即关系是一个函数，它把 k 个点映射到一个布尔值。例如，假设关系 R(X, Y, Z) 表示 “X 认为 Y 喜欢 Z”