雕塑家：通过主动上下文管理赋予大语言模型认知代理能力.pdfVIP

雕塑家：通过主动上下文管理赋予大语言模型认知代

理能力

MoLi,L.H.Xu,QitaiTan,TingCao,YunxinLiu

TsinghuaUniversityIndependentResearcher

Abstract

大型语言模型（LLMs）在处理长上下文时会因前瞻性干扰而出现显著性能

本下降，其中上下文早期部分的无关信息破坏了推理和记忆召回。

译尽管大多数研究集中在通过外部内存系统增强LLMs的能力上，我们提出了

中一种互补的方法：赋予LLMs主动上下文管理（ACM）工具来积极塑造其内

部工作记忆。

1

v我们介绍了雕刻家，一个为LLMs配备三类工具的框架：(1)上下文片段化，

4(2)概要、隐藏和恢复，以及(3)智能搜索。

6

6我们的方法使LLMs能够主动管理它们的注意力和工作记忆，类似于人类如

4何有选择地关注相关信息并过滤掉干扰。

0

.在信息稀疏基准上的实验评估——PI-LLM（前瞻性干扰）和NeedleBench多

8

0针推理——证明了雕刻家显著提高了性能，即使没有特定训练，也利用了

5LLMs内在的工具调用泛化能力。

2

:通过启用主动上下文管理，雕刻家不仅减轻了前瞻性干扰，还为各种长上

v

i下文任务提供了更可靠的推理认知基础——强调明确的上下文控制策略，而

x不仅仅是更大的令牌窗口，是实现大规模稳健性的关键。

r

a

1介绍

大型语言模型（LLMs）在各种任务中表现出显著的能力，但在处理长上下文时面临根本性

的挑战。先前的研究表明，仅仅扩大上下文窗口会让模型容易受到位置偏差、过载和干扰的

影响，随着序列的增长[Liuetal.,2023,Hsiehetal.,2024a]。最近的实证研究表明，大型语

言模型会遭受前摄干扰，其中上下文中较早的信息会扰乱后续更相关信息的处理[Wangand

Sun,2025]。此外，像中间找到（FoundintheMiddle）这样的校准措施可以减少但不能消除

位置偏差；近期评估发现，当相关信息片段之间的距离增加时，性能仍显著下降，因为它们

之间不相关的干扰信息妨碍了有效的信息整合[Hsiehetal.,2024b][Tianetal.,2025]。这些现

象反映了人类认知心理学中的情况，即新的学习可能会受到不再与当前任务相关但先前获得

的信息的损害。

挑战在复杂的多步骤推理任务中变得尤为尖锐，在这些任务中，大语言模型必须保持对多

个关键信息点的关注，同时过滤掉背景噪音[Lietal.,2025a]。传统上解决长上下文挑战的

Correspondingauthor.

Preprint.Workinprogress.

InitialState:OverloadedContext