Chorus:面向长度偏斜解码的 GPU-CPU 协同大语言模型服务.pdf

Chorus:面向长度偏斜解码的 GPU-CPU 协同大语言模型服务.pdf

Chorus:GPU-CPUCooperativeLLMServingfor

Length-SkewedDecode

DongChen*YukunZhou*ShengYao*

HongKongUniversityofScienceandHongKongUniversityofScienceandHongK

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档