原创力文档- 0
- 0
- 约3.2万字
- 约 44页
- 2026-08-28 发布于山东
- 举报
vLLMvLLM-Omni
多模态/全模态推理优化
演讲人：莫梓峰
vLLMcommitter/vLLM-Omnicommitter
01Multi-modalinferenceinvLLM
Omni-modalinferenceinvLLM-
02
Omni
03
目录
Multi-modalinference
invLLM
Scheduling·cache·optimizations
Multi-ModalInferencePipeline
•Additionalexecutionstage:Multi-ModalEncoder
•DecoderprefilldependsontheoutputsfromMulti-ModalEncoder
•SignificantCPU-GPUdatatransfe
您可能关注的文档
- 巴志欣-从 Tool Calling 到 Data Agent：企业数据智能体的生产化路径.pdf
- 柏佳辰-Coding Agent 如何真正落地研发流程：任务编排、质量保障与知识沉淀.pdf
- 曹智勇-从成功率到失败归因：Agent Harness组件级评测实践.pdf
- 郭人通-Agentic-Native 增长：Zilliz 如何用 AI Agent 支撑超线性业务扩张.pdf
- 黄之鹏-从开源模型到 AI 生态：LFAI&Data 基金会与 Omni-AI 的开源实践.pdf
- 康斌-Agent Harness + 原子 Skills：服务机器人具身智能的落地实践.pdf
- 李柏潮-盘古训练与推理通信优化实践-亲和昇腾平台的性能探索-李柏潮.pdf
- 李渭宁-从代码生成到研发闭环：AI Coding 在金融科技 SDLC 中的落地实践.pdf
- 李响 -Agentic AI 在普惠健康险的创新与实践0821无视频版.pdf
- 李元庆-轻量化异构双臂 × VLA_世界模型：家庭服务具身机器人的落地实践.pdf
- 聂鹏鹤-从App容器到Agent调度中心：荣耀YOYO智能体平台的架构演进与技术实践.pdf
- 彭锦文-DataBuddy：数据语义驱动的企业 Agent Runtime 设计与落地.pdf
- 邱慧-智能互动 Agent 在快手商业场景的落地实践.pdf
- 任磊达-QQ 飞车 Agentic 研发转型过程中的 Loop Engineering.pdf
- 尚旭春-面向 Agentic 负载的下一代 LLM 推理引擎设计实践.pdf
- 陶建辉-从模型竞赛到数据基建：工业 AI 的落地拐点.pdf
- 王仿-从大模型到 AI执行系统-infoQ.pdf
- 魏凤笛-支付宝xUI -- “阿宝”背后的Agentic终端交互引擎.pdf
- 许锡彬-基于 DataCyber 的 Data Agent：构建企业数据智能中枢的工程范式.pdf
- 杨守仁-从 HAMi 到 HAMi-DRA：异构环境的算力资源管理实践.pdf
文档评论（0）