真实环境中的模型即服务(MaaS):大规模生产级大语言模型推理集群的特征分析.pptx

真实环境中的模型即服务(MaaS):大规模生产级大语言模型推理集群的特征分析.pptx

CCSConcepts:•Computersystemsorganization→Cloudcomputing;•Generalandreference→Measure-ment.

Keywords:LLMinference,Model-as-a-Service,workloadcharacterization,productiontraces,heterogeneousGPUclus-ters,resourcemanagement

ACMReferenceFormat:

YiyunZheng,LingyunYang,Yi

文档评论(0)

1亿VIP精品文档

相关文档