知识表示与处理（2025-第16次课 大语言模型技术前沿II）.pdfVIP

知识注入

大模型知识注入（KnowledgeInjectioninLargeLanguageModels）是指在不

完全依赖模型预训练参数的前提下，通过外部手段将结构化或非结构化知识主动引入

大语言模型，以增强其在特定领域或任务中的准确性、时效性、可解释性和可控性的

一种关键技术。

为什么需要知识注入？

尽管大语言模型在预训练阶段学习了海量文本，

但其知识仍存在以下局限：

•静态性：知识截止于训练数据的时间，难以覆盖新

事件；

•幻觉问题：模型可能生成看似合理但错误的事实；

•领域专业性不足：通用模型在医疗、法律、金融等

专业场景表现有限；

•知识不可控：无法灵活更新或修正内部知识。

输入层注入（数据增强）：K-BERT

K-BERT（Knowledge-enabledBERT）

是一种将结构化知识（如知识图谱）显

式注入预训练语言模型（如BERT）的代

表性方法，旨在增强模型对事实性知识

的理解与推理能力，同时缓解通用语言

模型常见的“知识幻觉”问题。

核心思想：在不改变模型原始架构的前

提下，通过“知识融合”方式，在输入

层动态注入来自知识图谱（KG）的相关

三元组信息，使模型在理解句子时能结

合外部事实知识。

K-BERT开启了“知识显式融合”的研究

方向。

LiuW,ZhouP,ZhaoZ,etal.K-bert:Enablinglanguagerepresentationwithknowledgegraph[C]//ProceedingsoftheAAAI

ConferenceonArtificialIntelligence.2020,34(03):2901-2908.

输入层注入（数据增强）：K-BERT

LiuW,ZhouP,ZhaoZ,etal.K-bert:Enablinglanguagerepresentationwithknowledgegraph[C]//ProceedingsoftheAAAI

ConferenceonArtificialIntelligence.2020,34(03):2901-2908.

架构层注入（模型增强）：ERNIE

ERNIE（EnhancedRepresentationthroughkNowledgeIntEgration）通过修改

模型内部结构或预训练目标，将知识（尤其是实体与语义知识）内化到模型的表示学

习过程中。代表了“架构层知识注入”（Architectural-levelKnowledgeInjection

）的典型范式。

thearchitectureofERNIE

/abs/1904.09223

架构层注入（模型增强）：ERNIE

/blog/zh/posts/ernie4.5/

目标层注入（多任务学习）：KEP