原创力文档- 1、本文档共46页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
长文本大模型推理实践——
以KVCache为中心的分离
式推理架构
演讲人：唐飞虎
月之暗面研发工程师开发者关系负责人
目录
01长文本推理的瓶颈02长文本推理的优化
03Mooncake的实践04上下文缓存的应用
长文本推理的瓶颈
RAG
•Pros.
○无需额外训练
○速度快
○成本低
○工程方案成熟
○可设计多级检索方案
•Cros.
○Embedding召回效果直接影响模型回答效果
○无法处理复杂逻辑
○对多模态支持不足
Long-Context
•Pros.
○无需额外训练
○上下文兼顾更全面
○可处理复杂逻辑和依赖
•Cros.
○贵且慢
○长度有限
Long-Context
•Pros.
○无需额外训练
○上下文兼顾更全面
○可处理复杂逻辑和依赖
•Cros.
○贵且慢
○长度有限
长文本：有点贵
长文本：有点慢
Long-Context性能瓶颈
•并发性能随着上下文长度的增加而反比下降。
•预填充延迟随上下文长度的增长而呈平方级别
的增长。
•解码延迟和上下文切换开销随上下文长度的增
加而线性增加。
Long-Context性能瓶颈
•并发性能随着上下文长度的增加而反比下降。
•预填充延迟随上下文长度的增长而呈平方级别
的增长。
•解码延迟和上下文切换开销随上下文长度的增
加而线性增加。
长文本推理的优化
Long-Context推理优化
•硬件
○A100MemoryHierarchy
•机器学习工程
○FlashAttention
○vLLM
•模型架构
○MoE
○SpeculativeDecoding
Long-Context推理优化
•Layer
○ConfidentAdaptiveLanguageModeling,2022
○CoLT5:FasterLong-RangeTransformerswithConditional
Computation,2023
○LayerSkip:EnablingEarlyExitInferenceandSelf-Speculative
Decoding,2024
○YouOnlyCacheOnce:Decoder-DecoderArchitecturesfor
LanguageModels,2024
•Head
○GQA:TrainingGeneralizedMulti-QueryTransformerModels
fromMulti-HeadCheckpoints,2023
Long-Context推理优化
•Head
○RetrievalHeadMechanisticallyExplainsLong-Context
Factuality,2024
○DeepSeek-V2:AStrong,Economical,andEfficientMixture-of-
ExpertsLangua
文档评论（0）