原创力文档- 3
- 0
- 约4.52千字
- 约 37页
- 2025-08-20 发布于湖南
- 举报
大模型推理的显存优化探索录显存需求与挑战优化1:virtualTensor优化KVcache和attnkernel优化2:LayerKV优化TTFT围绕显存的更多优化探索总结05
显存需求与挑战
LLM推理：显存需求Llama-65b,FP16
LLM推理：硬件发展显存容量、访存带宽（特别是推理小batch场景）模型参数量vs.单卡显存容量单卡算力vs.访存带宽发展
显存管理：从cudaMalloc到CUDAVMMAPI2层指针与动态remapping（基于CUDAVMM）虚拟地址：对用户可见，保证连续物理地址：CHUNK_SIZE（2MB）粒
文档评论（0）