计算机行业AI与专题系列点评：DeepSeek发布最新论文，大模型长文本推理革命.docx

目 录

TOC\o1-2\h\z\u一、NSA颠覆性技术突破：从算法到硬件全面进化 4

（一）NSA实现技术突破，计算效率显著提高 4

（二）NSA完成技术创新，成功部署高效稀疏注意力机制 5

二、性能测试刷新SOTA，全面碾压传统方案 6

图表目录

图表1 基于Triton的NSA实现与基于Triton的FlashAttention-2训练速度比较 4

图表2 NSA在长序列解码时具有显著的效率优势 4

图表3 NSA架构 5

图表4 全注意力基线模型与NSA在通用基准测试上的预训练性能比较 6

图表5 通用基准测试中全注意力模型与NSA性能和效率比较 6

图表6 64k上下文长度下NSA实现完美的准确性 7

图表7 NSA模型与基线模型在LongBench上的性能比较 7

图表8 NSA-R在不同序列长度下性能展示 8

一、NSA颠覆性技术突破：从算法到硬件全面进化

（一）NSA实现技术突破，计算效率显著提高

技术上，NSA通过硬件级优化：将算术强度精确控制在GPU临界值（16.8TFLOPS/1.5TBps

≈11.2）之上；动态分层稀疏：采用32token压缩块+64token选择块的组合策略；三重注意力通路：压缩全局（6.25%计算量）、精选局部（25%计算量）、滑动窗口（8%计算量），使NSA架构在64K长文本场景下，实现解码速度提升11.6倍、前向传播9倍加速、反

向传播6倍加速。

图表1基于Triton的NSA实现与基于Triton的FlashAttention-2训练速度比较

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparse

Attention》

图表2 NSA在长序列解码时具有显著的效率优势

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparse

Attention》

（二）NSA完成技术创新，成功部署高效稀疏注意力机制

NSA在技术上引入了两个核心创新点：1.硬件对齐系统：优化块级稀疏注意力，使其充分利用TensorCore并优化内存访问，从而实现平衡的算术强度；2.训练感知设计：通过高效算法和反向传播运算符实现稳定的端到端训练，使NSA能够同时支持高效推理与完整训练流程。从而成功部署原生可训练的稀疏注意力架构，并集成了分层token建模。同时，NSA还设计了专用计算内核，以最大化实际计算效率。

图表3NSA架构

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparse

Attention》

二、性能测试刷新SOTA，全面碾压传统方案

通用基准评估中，NSA总体表现优越，在推理能力上展现显著优势。研究人员在一套全面的基准测试中评估了预训练的NSA和全注意力基线，覆盖了知识、推理和编码能力。尽管NSA具有稀疏性，但它在总体性能上表现优越，在9个指标中有7个超过了包括全注意力在内的所有基线，且在推理相关的基准测试中显示出显著的提升（DROP:+0.042，GSM8K:+0.034）。

图表4 全注意力基线模型与NSA在通用基准测试上的预训练性能比较

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparse

Attention》

图表5 通用基准测试中全注意力模型与NSA性能和效率比较

ingyangYuan等《NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparse

Attention》

长文本评估方面，NSA达到完美准确性。NSA使用层次化的稀疏注意力设计，该设计结合了压缩token以实现高效的全局上下文扫描，以及用于精确局部信息检索的选择token。粗粒度的压缩在低计算成本下识别相关的上下文块，而对选择token的token级注意力则

确保了关键细粒度信息的保留，使NSA能够同时保持全局感知能力和局部精确性。图表6 64k上下文长度下NSA实现完美的准确性

ingyangYuan等《NativeS