大模型与知识图谱前沿综述（2023）.docx

大模型与知识图谱前沿综述

陈玉博

中国科学院自动化研究所

复杂系统认知与决策实验室

2

研究背景

费根鲍姆图灵奖1994

1977年，在第五届国际人工智能会议上，图灵奖获得者费根鲍姆提出了知识工程的概念，确立了知识工程在人工智能中的重要地位。

创造阅读感与检测

创造

阅读

感与检测

控制与生成

人工智能的基石

人工智能的基石

大数据知识工程

大数据知识工程

开放域大规模

开放域

大规模

自动化 大数据

自动化

大数据

大知识

知识图谱

n知识图谱是以三元组为基本语义单元，以有向标签图为数据结构，从知识本体和知识实例两个层次，对世界万物进行体系化、规范化描述，并支持高效知识推理和语义计算的大规模知识系统。

描述体系

知识融合知识管理

知识融合

知识管理

构建应用

构建

应用

知识获取知识推理

知识获取

知识推理

知识建模知识应用

知识建模

知识应用

生命周期

3

知识图谱VS大模型

n知识图谱（符号化表示）优点：

n语义明确

n准确度高

n可解释性好

n规范的存储与更新机制

不足：

n知识类型有限

n知识规模有限

n大模型（参数化表示）优点：

n知识类型开放

n知识规模庞大

n自然语言形式的访问

不足：

n幻象

n黑盒、可解释差

n缺乏领域/最新知识

大规模预训练语言模型从语料中自动学到了大量知识，常被看作“参数化知识图谱”

大规模预训练语言模型从语料中自动学到了大量知识，常被看作“参数化知识图谱”

NLP会议论文分布

知识图谱论文粗略统计

知识图谱论文粗略统计

语言模型论文粗略统计

5

相关信息统计自ACLAnthology:/anthology/

NLP会议论文分布

知识获取与知识应用相关的研究最多，知识推理逐渐成为研究

知识获取与知识应用相关的研究最多，知识推理逐渐成为研究的热点

6

相关信息统计自ACLAnthology:/anthology/

知识建模知识融合-知识管理

知识获取知识推理

n知识建模，或知识体系构建，旨在构建一个本体对目标知识进行描述。知识建模知识应用

n输入：

领域(医疗、金融...)应用场景

数据/大模型

n输出：领域知识本体领域实体类别体系

实体类别的属性

7类别之间的语义关系语义关系之间的关系

7

知识建模

n实体本体建模

通过描述实体、属性以及关系来刻画客观世界中事物的静态规律。采用微调→提示学习等方法探测/激发大模型中的实体本体知识。

实体

Jullienetal.DoTransformersEncodeaFoundationalOntology?(2022)

实体、属性及实体之间语义关系

Pengetal.COPEN:ProbingConceptualKnowledgeinPre-trainedLanguageModels(EMNLP2022)

实体、属性、实体之间及

属性之间语义关系

8Wuetal.DoPLMsKnowandUnderstand

8

OntologicalKnowledge?(ACL2023)

知识建模

n事件本体建模

通过描述事件类型、论元及关系来刻画现实世界中事物的动态变化规律。

微调→提示学习。

事件类型归纳

Huangetal.Semi-supervisedNewEventTypeInductionandEventDetection(EMNLP2020)

原子事件模式归纳

Tangetal.HarvestingEvent

SchemasfromLargeLanguage

Models(2023)

事件图模式归纳

Lietal.Open-DomainHierarchical

EventSchemaInductionbyIncremental

PromptingandVerification(ACL2023)

9Xuetal.CEO:Corpus-basedOpen-DomainEventOntologyInduction(2023)Droretal.Zero-ShotOn-the-FlyEventSchemaInduction(EACL2023)

9

Edwardsetal.Semi-supervisedNewEventTypeInductionandDescriptionviaContras