（30页PPT）大模型时代的分布式推理平台.pptxVIP

Xinference：大模型时代的分布式推理平台秦续业未来速度CEO

LLM推理概述AttentionisAllYouNeedGPT架构EmbeddingDecoderSampling简化成三个步骤a2m.msup

LLM推理概述EmbeddingDecoderSamplingTokenEmbedding将tokenid转成词向量PositionalEmbedding将位置信息加到编码中a2m.msup

LLM推理概述EmbeddingDecoderSampling计算量最大的一个步骤，主要是attentiona2m.msup

LLM推理概述EmbeddingDecoderSamplinga2m.msup

LLM推理概述EmbeddingDecoderSamplingGreedysearchBeamsearch…Top-KTop-Pa2m.msup

LLM优化技术Optimizations:KVCachea2m.msup

LLM优化技术Optimizations:PagedAttentiona2m.msup

LLM优化技术Optimizations:ContinuousBatchinga2m.msup

LLM优化技术Optimizations:SpeculativeDecodinga2m.msup

LLM推理后端高吞吐a2m.msup最好兼容性工作在端侧

LLM模型下载a2m.msup

LLM推理a2m.msup

LLM推理生产部署个人部署PromptTemplatesModelCachingUtilsModelManagementRESTfulAPIResourceManagementThird-partyIntegrationMonitoringa2m.msup

Xinferenceisallyourneed多模型：汇集约80种开源模型，如GLM4、百川、Llama3、qwen2，还可以自由扩展自定义模型多硬件：支持NVIDIA、Intel多种硬件平台，按需选择高性能：使用多backend和投机采样等优化技术，大幅提升吞吐量，降低推理延迟低门槛：模型即服务，支持本地/云端部署等多种部署模式，降低开发和运维成本；支持从modelscope、huggingface或OpenCSG下载模型a2m.msup

Xinferenceisallyourneeda2m.msup

XinferenceisallyourneedDify中唯一一个支持所有特性的模型供应商a2m.msup

模型√√√√√a2m.msup

Dashboarda2m.msup

PythonClientRESTfulAPIResponseOpenAISDKa2m.msup

第三方集成（langchain、llama_index、Dify、FastGPT、chatchat…）a2m.msup

模型和资源管理XinferenceserverApplicationsAPIrequestWebUIrequestrequestGPUGPUGPUCPUllamaResourcePoolllamachatglmgte-largechatglmvllmtensorRT-llma2m.msup

ScalabilityScaleUp单机多卡（1张3090与2张3090的数据对比），线性增长，throughput随着卡的增加而线性增长,latency随着卡的增加线性降低a2m.msup

ScalabilityScaleOut多机多卡（一台A10G显卡机器与两台A10G显卡机器），throughput随着机器的增加而线性增长,latency随着机器的增加线性降低。a2m.msup

Xinference企业版a2m.msup

案例1，NVIDIA和昇腾混合部署a2m.msup某券商Xinference提供了异构调度能力，将各种类型硬件纳管Xinference屏蔽了底层硬件的差异用户无需感知硬件不同，GPUvs.NPU透明的优化技术，对NVIDIA和昇腾使用不同的优化技术各种常见AI开发工具直接对接LangchainDify

难点和优势NVIDIA拥有了相对完备的生态，国产适配有相当大的难度Xinference对底层算子进行了适配，利用continuousbatching，整体吞吐提升3倍。得益于Xinference底层的Xoscar异构算力调度，用户对NVIDIA还是国产芯片是透明的用户可以更加专注在业务侧a2m.msup

案例2，构建企业私有化