DeepSeek-V3.2-Exp 通过DeepSeek稀疏注意力提升 长上下文效率.docx

deepseelc

DeepSeek-V3.2-Exp：通过DeepSeek稀疏注意力提升长上下文效率

DeepSeek-AI

research@deepseek.com

摘要

我们介绍了DeepSeek-V3.2-Exp，一个实验性的稀疏注意力模型，它通过持续训练为

DeepSeek-V3.1-Terminus配备了DeepSeek稀疏注意力（DSA）。借助DSA，一个由闪电索引器支持的细粒度稀疏注意力机制，DeepSeek-V3.2-Exp在训练和推理方面都实现了显著的效率提升，尤其是在长上下文场景下。模型检查点可在

https://huggingface.co/deep