KG-增强的可执行 CoT 用于数学编码.pdfVIP

KG-增强的可执行CoT用于数学编码

11234

XingyuChen,JunxiuAn,JunGuo,LiWangJingcaiGuo

1SchoolofSoftwareEngineering,ChengduUniversityofInformationTechnology,Chengdu,China

2CollegeofAppliedMathematics,ChengduUniversityofInformationTechnology,Chengdu,China

3SchoolofArtificialIntelligence,BeihangUniversity,Beijing,China

4DepartmentofComputing,TheHongKongPolytechnicUniversity,HongKong,China

Abstract代词忠实度上并不一致稳定。即使是在简单自然的语言

近年来，大型语言模型（LLMs）在自然语言处理任务中环境中，相同意思的不同句式表达也可能导致模型识别

表现出色，但在数学推理和代码生成等复杂推理任务方准确率出现显著差异(Gautametal.2024;Miaoetal.

面面临重大挑战。为了解决这些限制，我们提出了KG2025)。这些限制强调了建立结构化框架的必要性，以

增强的可执行链式思维（KGA-ECoT），这是一种通过增强大语言模型通过准确且可验证的代码生成解决数

本知识图谱来提升代码生成，并通过可执行代码改进数学学问题的能力(Gaoetal.2023)。

译推理的新框架。KGA-ECoT将问题分解成结构化任务为了解决复杂推理任务中的挑战，思想链（CoT）

图，利用高效的GraphRAG从数学库中进行精确的知

提示技术作为一种强大的方法被提出，以激发大语言模

中识检索，并生成可验证的代码以确保计算准确性。在多

型的推理能力。通过引导模型进行逐步推理，CoT显著

1个数学推理基准上的评估表明，KGA-ECoT显著优于现

v有的提示方法，绝对准确率提高了几个到十个百分点以提高了逻辑和算术任务(Weietal.2022;Spragueetal.

2上。进一步分析证实了GraphRAG在提高代码质量和2025;Zhaoetal.2024)的表现。基于CoT，提出了思

7外部代码执行精度中的关键作用。这些发现共同确立了想图（GoT），将推理步骤组织成图形结构，使问题解

0

4KGA-ECoT作为复杂数学推理任务中稳健且高度通用决更加灵活且协同工作(Bestaetal.2024)。然而，CoT

0.的框架的地位。和GoT主要依赖于文本推理，这缺乏可执行代码所提

8供的精确性和可验证性，特别是对于需要数值计算或

0

5介绍符号操作的数学任务(Nyeetal.2022;Azerbayevetal.

2大型语言模型（LLMs），如ChatGPT(Achiametal.2024)。

:

v2024)和Llama(Grattafiorietal.2024)，彻底革新了自尽管CoT和GoT在推理任务中表现出色，但它们

i

x然语言理解和生成。它们具备深刻的语言理解能力、类