大模型推理趋势与Agent技术挑战.pdfVIP

会议要点

1.大模型行业趋势与技术方向

•行业成本转移：2025-2026年，大模型行业成本将从训练转向推

理，驱动因素包括：模型调用次数增加、单次调用消耗Token数量增

多（如InferenceScaling/TestTimeScaling）。

•推理优化方向：

–架构优化：Mamba、DSA架构通过在Attention层对长上下文推理做

结构性优化，减少KVCache依赖，降低长上下文推理时每步生成

Token的瓶颈。

–生成效率优化：DiffusionLanguageModel通过一次生成100个

Token、多次迭成下一个Block的方式，提升推理速度。

2.Agent技术进展与

•Agent稳定性问题：

–推理链：RL训练后Agent推理链缩短、同质化，是现

有RL机制未对推理链进行监督（仅监督最果或任务