LEKIA：通过专家知识注入实现架构对齐的框架-计算机科学-大语言模型-人工智能-专家知识注入.pdfVIP

LEKIA：通过专家知识注入实现架构对齐的

框架

BoningZhao*YutongHu*

TandonSchoolofEngineeringCollegeofArtsScience

NewYorkUniversity,USANewYorkUniversity,USA

bz2518@nyu.eduyh4872@nyu.edu

摘要—大型语言模型（LLMs）在高风险领域的部署受到占主导地位的范式已经尝试从两个不同的方向

双重挑战的阻碍：需要深度动态的专业知识注入和细致的价值来解决这一问题。知识注入方法，例如检索增强生成

本对齐。现有的范式通常分别解决这些挑战，从而在知识与对齐（RAG），可以提供事实信息，但难以捕捉专家的基础推

之间造成持久的紧张关系；专注于知识的方法如检索增强生成

译理框架或价值观。相反，价值对齐方法，如基于人类反

（RAG）具有有限的深层次对齐能力[1]，而专注于对齐的方法

中如基于人类反馈的强化学习（RLHF）则难以敏捷地注入专家智馈的强化学习（RLHF）和参数高效微调（PEFT），可

1慧[2]。本文介绍了一种新的协作理念专家拥有的AI行为设计，以塑造AI行为，但在处理动态、活的知识所需的敏捷

v

4通过架构对齐实现——这是一种将这两个目标统一在一个名为性方面存在困难，经常将其简化为静态数据集，这些数

4分层专家知识注入架构（LEKIA）框架内的范式。LEKIA作据集更新缓慢且成本高昂[2],[8]。

9为智能中介运作，指导大语言模型的推理过程而不改变其权重，这些流行范式的局限性揭示了需要进行根本性的

4

1.采用三层结构：理论层用于核心原则，实际层用于示例案例，以方法转变。与其试图改变模型的内部权重或检索孤立的

7及评估层用于实时、价值对齐的自我纠正。

事实，我们提出了一种新的范式，称为架构对齐：通过

0我们通过成功实施基于LEKIA的心理支持助手来证明这

5一范式的有效性，该助手指向特殊教育领域。我们的工作为实现外部专家策划的认知架构实时引导大型语言模型的推

2

:更负责任和专家驱动的人工智能铺平了道路，使领域专家能够直理过程。为了实现这一范式，我们开发了分层专家知识

v

i接架构AI行为并解决知识与对齐之间的紧张关系。注入架构（LEKIA），这是一个领域无关的框架，作为

x

rIndexTerms—架构对齐，专家知识注入，以人为本的AI，用户和通用大型语言模型之间的智能中介。

a负责任的AI，大型语言模型

LEKIA的设计根植于一种更广泛的指导理念，我

I.介绍们称之为专家拥有的AI行为设计。这一理念认为，最

大型语言模型（LLMs）在医疗、法律和教育等高有效和负责任的前进路径是从试图将转换生活中的专

风险领域的部署是一个重要的机遇[3],[4]。然而，通用家智慧转化为静态数据，转变为创建一个允许专家们直

型LLM的“黑箱”性质和隐私风险，加上它们缺乏只接表达并实现这些智慧的架构。尽管我们的实施利用了

有前线领域专家才具备的深刻见解和实践智慧，使得它自然语言上下文结构化技术，但我们认为LEKIA的核

们的直接应用既危险又不负责任[5],[6]。心贡献并不在于提示优化，而在于这一系统性、可重复

这些领域的基本挑战超越了简单的准确性；它是一使用的架构。本文将详细描述LEKIA的三层结构，并

种双重挑战，即注入深刻、动态