硅基流动高性能低成本的大模型推理云实践-陈凯.docx

硅基流动高性能大模型推理云实践

陈凯

2024-08

????????

内容提纲

?大模型推理云背景

?供给侧加速进化的大模型

?需求测多样化的大模型需求

?大模型推理云挑战

?大模型推理挑战

?推理上云的挑战

?大模型推理云实践

?核心引擎建设

?推理云平台建设

?总结与回顾

????????

大模型推理云背景：加速进化的大模型能力（以LLM为例）

1./visualizations/the-rise-of-generative-ai-large-language-modelske-chatgp

2.https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard，2024年8月15日检索。

????????

大模型推理云背景：多样化的大模型需求（以LLM为例）

1.https://openrouter.ai/rankings，2024年8月15日检索。

2./100-gen-ai-apps/,2024年8月15日检索。

内容提纲

?大模型推理云背景

?供给侧加速进化的大模型

?需求测多样化的大模型需求

?大模型推理云挑战

?推理挑战

?云上挑战

?大模型推理云实践

?核心引擎建设

?模型云建设

?总结与回顾

????????

推理挑战：需要严苛大模型而昂贵的硬件资源

推理挑战：

需要严苛

大模型

KVcachesize=(batch_size)*(sequence_length)*2*(num_layers)*(hidden_size)*(pricision_in_bytes）

KVcachesize=(batch_size)*(sequence_length)*2*(num_layers)*(hidden_size)*(pricision_in_bytes）（上图使用fp16，其中乘数2包含了K和V的矩阵）

3./blog/mastering-llm-techniques-inference-optimization/

4.https://youtu.be/hMs8VNRy5Ys

????????

大模型推理挑战：本身是一个慢而昂贵的任务

1./cocktailpeanut/status/1815876634492457319

2./market/list

????????

大模型推理不可能三角：难满足质量好、模型快同时价格低

1.https://artificialanalysis.ai/models

2.https://www.aidancooper.co.uk/how-to-beat-proprietary-llms

3./cocktailpeanut/status/1815876634492457319

????????

大模型推理挑战：模型推理优化兼具理论和工程难点

????????

大模型推理云挑战：自部署模型服务的冷启挑战

1./

2./1962.html

大模型推理云挑战：

1./blog/reduce-cold-start-time-llm-inference

自部署模型服务的冷启挑战

????????

大模型推理云挑战：自部署服务的冷启、稳定性挑战

1./en-us/msoffice/forum/all/cannot-access-onenote-notebooks-error-message/8525998a-f8cd-4251-aee6-080b1b7be3d1

2./tensorflow/tensorflow/issues/19347

3./t/coredump-when-registering-a-dispatched-operator-in-c-with-cuda-backend-only/170415

内容提纲

?大模型推理云背景

?供给侧加速进化的大模型

?需求测多样化的大模型需求

?大模型推理云挑战

?推理挑战

?云上挑战

?大模型推理云实践

?核心引擎建设

?模型云建设

?总结与回顾

????????

大模型推理云SiliconCloud：生产就绪推理云服务

????????

大模型推理云SiliconCloud：生产就绪推理云服务

????????

大模型推理云SiliconCloud：生产就绪推理云服务

????????

大模型推理云SiliconCloud：生产就绪推理云服务

1./vis