长上下文无损提示：128K窗口下的分段记忆策略.pptxVIP

2026/06长上下文无损提示

128K窗口下的分段记忆策略Moeimijiang

目录128K窗口的馈赠与代价注意力稀释的认知基础首尾锚定+分段激活法自定义标记系统实战模板与效果验证长上下文策略选择指南010203040506

128K窗口的馈赠与代价01

128K窗口：能力与隐患整本《三体》单次对话可容纳整本《三体》第一部，超长上下文让文学级内容处理成为现实上百页招股说明书轻松承载上百页招股说明书的完整信息，金融文档分析无需分段数小时会议记录完整纳入数小时会议记录，将整个知识库塞进提示词从梦想变为现实注意力衰减现象上下文超过32KToken时，模型对中间位置信息的注意力显著衰减U型曲线特征呈现两端高、中间低的U型曲线，中间内容易被模型遗忘关键信息召回骤降58%—60KToken文档中，32K-48K区间关键信息召回率骤降至58%

注意力稀释的认知基础02

为什么模型会忘记中间信息注意力预算分配机制每层Transformer计算当前位置与序列所有位置的相关性权重，理论复杂度为序列长度的平方128K尺度下，模型进行隐式注意力预算分配——优先满足最可能重要的位置两端优先的天然倾向首因效应：开头部分被视为理解后续内容的基础，获得优先关注近因效应：结尾部分在短期记忆中最为鲜活，关注度回升中间区域：既无首因红利，也无近因优势，沦为沉默的大多数注意力分布的U型曲线高注意力区低注意力区