大模型时代的分布式推理平台.pptxVIP

Xinference：大模型时代的分布式推理平台秦续业未来速度CEO

LLM推理概述AttentionisAllYouNeedGPT架构EmbeddingDecoderSampling简化成三个步骤

LLM推理概述EmbeddingDecoderSamplingTokenEmbedding将tokenid转成词向量PositionalEmbedding将位置信息加到编码中

LLM推理概述EmbeddingDecoderSampling计算量最大的一个步骤，主要是

LLM推理概述EmbeddingDecoderS

LLM推理概述EmbeddingDecoderSamplingGreedysearchBeamsearch…Top-KTop-P

LLM优化技术Optimizations:KVC

LLM优化技术Optimizations:PagedA

LLM优化技术Optimizations:ContinuousB

LLM优化技术Optimizations:SpeculativeD

LLM推理后端高吞吐最好兼容性工作在端侧

LLM模型下载

LLM推理

LLM推理生产部署个人部署PromptTemplatesModelCachingUtilsModelManagementRESTfulAPIResourceManagementThird-partyIntegrationM

Xinferenceisallyourneed多模型：汇集约80种开源模型，如GLM4、百川、Llama3、qwen2，还可以自由扩展自定义模型多硬件：支持NVIDIA、Intel多种硬件平台，按需选择高性能：使用多backend和投机采样等优化技术，大幅提升吞吐量，降低推理延迟低门槛：模型即服务，支持本地/云端部署等多种部署模式，降低开发和运维成本；支持从modelscope、huggingface或OpenCSG下载模型

Xinferenceisallyour

XinferenceisallyourneedDify中唯一一个支持所有特性的模型供应商

模型√√√√√

D

PythonClientRESTfulAPIResponseOpenAISDK

第三方集成（langchain、llama_index、Dify、FastGPT、chatchat…）

模型和资源管理XinferenceserverApplicationsAPIrequestWebUIrequestrequestGPUGPUGPUCPUllamaResourcePoolllamachatglmgte-largechatglmvllmtensorRT-

ScalabilityScaleUp单机多卡（1张3090与2张3090的数据对比），线性增长，throughput随着卡的增加而线性增长,latency随着卡的增加线性降低

ScalabilityScaleOut多机多卡（一台A10G显卡机器与两台A10G显卡机器），throughput随着机器的增加而线性增长,latency随着机器的增加线性降低。

Xinference企业版

案例1，NVIDIA和昇腾混合部署某券商Xinference提供了异构调度能力，将各种类型硬件纳管Xinference屏蔽了底层硬件的差异用户无需感知硬件不同，GPUvs.NPU透明的优化技术，对NVIDIA和昇腾使用不同的优化技术各种常见AI开发工具直接对接LangchainDify

难点和优势NVIDIA拥有了相对完备的生态，国产适配有相当大的难度Xinference对底层算子进行了适配，利用continuousbatching，整体吞吐提升3倍。得益于Xinference底层的Xoscar异构算力调度，用户对NVIDIA还是国产芯片是透明的用户可以更加专注在业务侧

案例2，构建企业私有化的AI平台Xinference作为AI基础平台大语言模型包括多模态Embedding、rerank模型企业旧模型模型使能平台知识库Agent提示词管理等其他功能

联系我们GitHub:/xorbitsai/inferenceDocumentation:https://inference.readthedocs.io/en/latest/

麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代，超过3000余家企业续约学习，是科技领域占