老黄200亿“钞能力”回应谷歌:联手Groq,补上推理短板.docxVIP

  • 0
  • 0
  • 约3.86千字
  • 约 8页
  • 2026-01-08 发布于上海
  • 举报

老黄200亿“钞能力”回应谷歌:联手Groq,补上推理短板.docx

老黄200亿“钞能力”回应谷歌:联手Groq,补上推理短板

一、200亿“钞能力”背后:英伟达对Groq的“人才+技术”双收

2025年12月下旬,硅谷的芯片圈被一则“创纪录交易”点燃——英伟达创始人黄仁勋(“老黄”)以200亿美元的“钞能力”,与谷歌TPU核心开发者创立的AI推理芯片公司Groq达成重磅合作。这场交易的核心并非“收购公司”,而是老黄用“豪爽安置方案”实现的“人才+技术”双收:将Groq90%的核心团队“打包”纳入英伟达,同时获得其LPU(低延迟处理器)技术的独家授权。

根据Axios披露的细节,本次合作的“慷慨度”远超行业常规:

核心团队入局:Groq创始人兼CEOJonathanRoss、总裁SunnyMadra等高管将直接加入英伟达,主导LPU技术的整合;

员工“全民套现”:90%的Groq员工将随团队加入英伟达,已归属的股份直接折现发放现金,未归属的股份按200亿美元估值折算为英伟达股票(分期归属);约50名核心员工的股权激励被“加速归属”,一次性用现金结清——据估算,Groq员工人均套现金额高达500万美元;

股东与剩余员工兜底:Groq股东的估值较此前翻了三倍,获得丰厚分红;未加入英伟达的10%员工可兑现已归属股份,并继续参与Groq后续的经济收益;

Groq独立运营:Groq将保持独立实体身份,原CFOSimonEdwards接任CEO,其云服务平台GroqCloud照常对外提供推理服务。

这场“收购式招聘”被业内评价为“老黄的精准算计”:既拿到了Groq的核心技术与团队,又通过“Groq独立运营”规避了反垄断审查——毕竟,Groq的云服务仍能继续触达中小企业客户,为英伟达的算力生态补全“最后一块拼图”。

二、推理短板的“解药”:LPU如何破解GPU的“内存墙”困局

老黄的200亿“豪掷”,本质上是为了解决英伟达在AI算力战场的“阿喀琉斯之踵”——推理环节的短板。

从“训练”到“推理”:AI战场的重心转移

过去五年,AI行业的核心是“训练更大的模型”:OpenAI的GPT-3(1750亿参数)、谷歌的GeminiUltra(万亿参数),都需要海量算力完成预训练。英伟达GPU因并行计算能力成为“训练硬通货”,推动公司市值突破5万亿美元。但随着大模型从“实验室”走向“落地应用”,“推理”(即模型运行时的响应速度、成本效率)成为企业的核心需求——据IDC预测,2026年全球AI推理算力需求将超过训练,占比达到55%。

GPU的“推理软肋”:内存墙与封装瓶颈

传统GPU的设计逻辑是“通用计算”,但推理场景需要“低延迟、高确定性”——而GPU的两大缺陷正好击中这一痛点:

内存延迟高:GPU依赖片外HBM(高带宽内存)存储数据,数据在“芯片-显存”之间的传输会形成“内存墙”,导致模型响应速度慢(如GPT-4的首token响应时间约1秒);

封装产能瓶颈:HBM需要CoWos先进封装技术,而台积电的CoWos月产能仅约1.2万片,限制了GPU的扩产能力,推高了成本(H100GPU的单价超过3万美元)。

LPU的“推理革命”:SRAM架构的降维打击

Groq的LPU则为这一困局提供了“解药”。作为谷歌TPU核心开发者JonathanRoss的“创业成果”,LPU采用“片上集成大容量SRAM(静态随机存取存储器)”的架构,从根源上解决了GPU的痛点:

速度碾压:SRAM的读写速度是HBM的10倍,GroqLPU的片上230MBSRAM可提供80TB/s的内存带宽(H100的HBM3带宽仅3.3TB/s)。在Mixtral-8x7B、Llama2-70B等主流大模型的推理测试中,LPU的速度达到H100的5至18倍,首token响应时间仅0.2秒(不到H100的1/5),每秒可输出约500个tokens(H100约为100-200tokens);

成本优势:LPU无需CoWos封装,生产流程更简单,扩产能力更强。同时,SRAM的“片上集成”减少了数据传输能耗——LPU的能效比(每瓦可处理的tokens数)是H100的4倍,推理成本降低30%以上;

长上下文适配:针对“SRAM容量有限”的质疑,Groq通过NVLink互连技术扩展算力,可支持10万token以上的长上下文推理(如处理整本文档),性能线性提升。

黄仁勋明确表示:“Groq的LPU将成为英伟达AI工厂的‘推理引擎’——我们将把LPU集成到现有架构中,为客户提供‘训练用GPU、推理用LPU’的全栈服务,彻底解决大模型落地的‘响应慢、成本高’问题。”

三、谷歌的“TPU威胁”:英伟达的“同源技术”反击战

老黄之所以对Groq“如此慷慨”,本质上是为了回应谷歌的TPU威胁——而Groq的技术,恰恰是对抗TPU的“同源武器”。

谷歌的“攻

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档