大模型推理框架升级之路.pdf

大模型推理框架升级之路

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

肖彬

DataFunSummit#2024

我们将从四个优化专项介绍如何优化大模型推理框架性能

量化

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

投机采样

TTFT与TPOT的优化

通信优化

量化作为大模型最重要的性能优化手段，能有效降低显存占用，降低访存量，充分利用计算资源

01以下是大模型计算流程：

量化

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

Weight-int8+KV_cache_int8

最早上线的一个版本，显著降低显存占用，使得模型使用较少卡启动，增大服务承载能力，降低成本50%

weight跟kvcache在推理框架占用显存为大头，优先优化能有效降低成本

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

Activationint8

A8是在w8/kv8基础上对gemm相关计算的输入激活进行量化，能有效降低gemm运算耗时，首token耗时下降50%，成本下降15%

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

Weight-int4+kv_cache-int4

Int4主要目标是将显存占用压至更低，能在低端卡型上部署并支持更长的序列，支持更大的batch，成本下降30%

使用了类似quorat的技术，并结合marlin算子，针对性做了优化，已在多个业务落地，后续可能会有论文输出

Communicationint8

通信量化，降低低端卡通信耗时开销，首token耗时下降30%

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

后续会有论文产出

AttentionQKVint8

将gemm计算全线转为int8计算

Q(int8)*K(int8)-softmax-V(int8)

目前处于开发中

投机采样就是利用decode过程算力冗余

使用额外的技术生成多个候选token同时输送给大模型并行验证，

02充分使用算力且不会增加额外太多的时延

投机

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些