DeepSeek发布最新论文，大模型长文本推理革命.pdfVIP

AI+专题系列点评（二十九）

目录

一、NSA颠覆性技术突破：从算法到硬件全面进化4

（一）NSA实现技术突破，计算效率显著提高4

（二）NSA完成技术创新，成功部署高效稀疏注意力机制5

二、性能测试刷新SOTA，全面碾压传统方案6

证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210号2

AI+专题系列点评（二十九）

图表目录

图表1基于Triton的NSA实现与基于Triton的FlashAttention-2训练速度比较4

图表2NSA在长序列解码时具有显著的效率优势4

图表3NSA架构5

图表4全注意力基线模型与NSA在通用基准测试上的预训练性能比较6

图表5通用基准测试中全注意力模型与NSA性能和效率比较6

图表664k上下文长度下NSA实现完美的准确性7

图表7NSA模型与基线模型在LongBench上的性能比较7

图表8NSA-R在不同序列长度下性能展示8

证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210号3

AI+专题系列点评（二十九）

一、NSA颠覆性技术突破：从算法到硬件全面进化

（一）NSA实现技术突破，计算效率显著提高

技术上，NSA通过硬件级优化：将算术强度精确控制在GPU临界值（16.8TFLOPS/1.5TBps

≈11.2）之上；动态分层稀疏：采用32token压缩块+64token选择块的组合策略；三重注

意力通路：压缩全局（6.25%计算量）、精选局部（25%计算量）、滑动窗口（8%计算量），

使NSA架构在64K长文本场景下，实现解码速度提升11.6倍、前向传播9倍加速、反

向传播6倍加速。

图表1基于Triton的NSA实现与基于Triton的FlashAttention-2训练速度比较

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativ