人工智能基础：大模型实践教学课件.ppt

（四）知识增强三、语言大模型关键技术32411.知识增广知识增广方法是从输入端增强模型，有两种主流的方法：（1）直接把知识加到输入。（2）设计特定模块来融合原始输入和相关的知识化的输入表示。4.知识迁移模型知识作为关键知识源，可直接应用于下游任务以初始化模型参数。迁移学习与自监督学习是知识迁移的重要研究领域，现今以BERT为代表的预训练模型已成为知识迁移的主流方法，并在自然语言处理中广泛应用。2.知识支撑知识支撑方法关注优化模型对知识的应用流程。方式有两种：（1）在模型的底部引入知识指导层来处理特征，以便能得到更丰富的特征信息。（2）将知识作为“专家”，