大模型推理原理与部署优化
庞士冠|华为云PaaS架构与设计团队,大模型部署优化工程师
庞士冠
华为云PaaS架构与设计团队,大模型部署优化工程师
22年硕士毕业加入华为云PaaS服务产品部,23年初开始从事大模
型高效推理和部署优化相关工作,参与公司内多项大模型推理优化
项目,基于昇腾全栈,参与设计开发华为云XTA推理平台,该平台
承载了华为AI辅助内部研发项目、华为云CodeArtsSnap研发助手
等推理业务,有效支撑了百万级日活。
01大模型推理原理与挑战
02大模型推
大模型推理原理与部署优化
庞士冠|华为云PaaS架构与设计团队,大模型部署优化工程师
庞士冠
华为云PaaS架构与设计团队,大模型部署优化工程师
22年硕士毕业加入华为云PaaS服务产品部,23年初开始从事大模
型高效推理和部署优化相关工作,参与公司内多项大模型推理优化
项目,基于昇腾全栈,参与设计开发华为云XTA推理平台,该平台
承载了华为AI辅助内部研发项目、华为云CodeArtsSnap研发助手
等推理业务,有效支撑了百万级日活。
01大模型推理原理与挑战
02大模型推
文档评论(0)