Token视角看AI硬件的斜率之争.pptxVIP

Agent模式下存储、光传输需求与模型定价逻辑。1）定义三大核心参数：累积序列总长度Nk、模型隐藏层维度d、模型总层数L。2）存储与光传输需求：KVCache存储量公式随序列长度Nk严格线性增长，Agent每轮推理都会持续增加存储压力。光传输总流量公式与存储量同阶线性增长。3）算力与存储瓶颈切换：单纯扩大模型规模时，GPU算力是核心瓶颈；Agent多轮深度推理时，HBM容量与带宽成为首要瓶颈。4）模型API定价本质：输入价格和模型计算量正相关，输出价格和KV缓存读写量正相关。密集大模型数值大，定价高昂；MoE模型等效激活维度低、小型模型