大模型推理原理与部署优化.pdf

大模型推理原理与部署优化

庞士冠|华为云PaaS架构与设计团队,大模型部署优化工程师

庞士冠

华为云PaaS架构与设计团队,大模型部署优化工程师

22年硕士毕业加入华为云PaaS服务产品部,23年初开始从事大模

型高效推理和部署优化相关工作,参与公司内多项大模型推理优化

项目,基于昇腾全栈,参与设计开发华为云XTA推理平台,该平台

承载了华为AI辅助内部研发项目、华为云CodeArtsSnap研发助手

等推理业务,有效支撑了百万级日活。

01大模型推理原理与挑战

02大模型推

文档评论(0)

1亿VIP精品文档

相关文档