硅基流动高性能低成本的大模型推理云实践-陈凯-final.docxVIP

硅基流动高性能大模型推理云实践陈凯2024-08

硅基流动高性能大模型推理云实践

陈凯2024-08

????????

????????

????????内容提纲大模型推理云背景??供给侧加速进化的大模型需求测多样化的大模型需求大模型推理云挑战??大模型推理挑战推理上云的挑战大模型推理云实践?

????????

内容提纲

大模型推理云背景

?

?

供给侧加速进化的大模型需求测多样化的大模型需求

大模型推理云挑战

?

?

大模型推理挑战推理上云的挑战

大模型推理云实践

?

?

核心引擎建设推理云平台建设

总结与回顾

ls-llms-like-chatgpt/????????大模型推理云背景：加速进化的大模型能力（以

ls-llms-like-chatgpt/

????????

大模型推理云背景：加速进化的大模型能力（以LLM为例）

/visualizations/the-rise-of-generative-ai-large-language-mode

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard，2024年8月15日检索。

????????大模型推理云背景：多样化的大模型需求（以

????????

大模型推理云背景：多样化的大模型需求（以LLM为例）

https://openr