杨雨豪-百万上下文下的 DeepSeek V4：SGLang 推理优化实战.pdfVIP

DeepSeek-V4

百万Token上下文推理优化

SGLang的系统设计与实现

YuhaoYang·SGLang/RadixArk

DeepSeek-V4：模型规模与两项架构变化

1.6T49B384/61M

总参数每Token激活路由专家/每Token激活Token上下文

V4-Flash：284B总参数，单Token激活13B

MoE路由专家权重与CSAIndexer的QK路径采用FP4

mHC

残差状态扩展为四路，并通过受约束映射完成混合与写回

混合注意力

每层使用SWA，并选择CSA或HCA

mHC：残差流由一路扩展为四路

每层通过受约束的映射完成四路残差状态的读入、混合与写回

混合注意力：SWA+（CSA或HCA）

ShadowRadix：统一索引三类KV

HiCache：可复用前缀的分层存储

·UnifiedRadixCache判断哪些状态可以复用