通过概念检索增强的大型语言模型实现自动化形式化.pdfVIP

通过概念检索增强的大型语言模型实现自动化形式化

1∗2∗†1113

WangyueLu,LunDu,SiruiLi,KeWeng,HaozheSun,HengyuLiu,

11†1

MingheYu,TianchengZhang,GeYu,

1NortheasternUniversity

2AntResearchInstitute,AntGroup

3DepartmentofComputerScience,AalborgUniversity

,dulun.dl@,

2401925}@,sunhaozhe@,

heli@cs.aau.dk,{yuminghe,tczhang,yuge}@

Abstract型语言模型（LLMs）的时代，它充当了非正式人类推

本理和形式符号逻辑之间的关键桥梁，使AI系统能够有

交互式定理证明器（ITPs）需要手动形式化，这是一项劳

意义地参与数学问题解决(Wengetal.2025;Guoetal.

译动密集型工作且要求专家知识。虽然自动化形式化提供

中了一个潜在的解决方案，但它面临着两个主要挑战：模2025;Zhengetal.2025)。其重要性通过DeepMind的

型幻觉（例如，未定义的谓词、符号误用和版本不兼容）AlphaProof得到了体现，该程序通过利用基于Lean定

1以及自然语言描述中由于前提模糊或缺失引起的语义鸿理证明器的端到端形式化管道，在2024年国际数学奥

v

1沟。为了解决这些问题，我们提出了一个基于概念驱动检林匹克竞赛中达到了银牌级别的表现(AlphaProofand

3索增强数学形式化的框架——CRAMF。CRAMF通过AlphaGeometry2024)。随着LLMs成为自动化定理证

9检索核心数学概念的形式化定义来增强基于大型语言模明的核心，自动形式化的准确性和可靠性直接影响了证

6

0型的自动形式化，在代码生成过程中提供上下文基础。然明生成的整体成功。

8.而，在这种情况下应用检索增强生成（RAG）并非易事，当前主流的自动化形式化方法依赖大型语言模型

0原因在于缺乏结构化的知识库、数学概念的多态性质以

5及正式检索所需的高精度。我们介绍了一个框架，用于从（LLMs）将自然语言直接翻译成正式的数学陈述(Wu

2Lean4定理证明器的标准数学库Mathlib4自动构建概etal.2022)。典型策略包括对预训练模型进行少量示例

:

v念-定义知识库，索引超过26,000个形式化定义和1,000提示和在对齐的自然语言—形式语言（NL–FL）配

i

x多个核心数学概念。为了解决概念多态性问题，我们提对上进行微调(Xinetal.2024)。尽管最近的系统，如

r出了带有领域和应用级信号的上下文查询增强。此外，我Herald(