Create2025百度AI开发者大会:软硬协同优化,极致Deepseek部署成本.pptx

Create2025百度AI开发者大会:软硬协同优化,极致Deepseek部署成本.pptx

  1. 1、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。。
  2. 2、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
  3. 3、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

百度智能云AI计算部主任架构师

软硬协同优化,极致Deepseek部署成本

百度智能云黎世勇

Deepseek:模型与Infra协同设计的典范

MLA

降低KVCache占用与访问开销

原生MTP支持

提升训推效率

MoE架构

降低训推计算量

芯片+框架+集群协同优化才能实现『Deepseek普惠』

异构硬件集群

昆仑芯

MTP训练

辅助Loss

FP8完整支持

DeepGEMM集成|反向算子优化

负载均衡

请求级|token级|专家级

PD分离

KVtransfer|异步Launch

DeepX库集成

DeepEP|DualPipe

细粒度显存优化策略

文档评论(0)

4A方案 + 关注
实名认证
服务提供商

擅长策划,|商业地产|住房地产|暖场活动|美陈|圈层活动|嘉年华|市集|生活节|文化节|团建拓展|客户答谢会

1亿VIP精品文档

相关文档