- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
科技
AI算力:看好算力需求积极向上趋势
从策略会我们观察到,全球AI算力需求持续上行趋势不改,我们认为,训练端与推理端两
条主线都对未来AI算力需求保持积极推动:
1)训练端来看,模型层后训练阶段不断有新的scaling路径涌现;新架构正在积极探索过
程中,未来有望重启预训练阶段的算力需求叙事;全球大规模算力集群有望伴随英伟达B
系列交付节奏的恢复加速推进,主权AI正逐步落地。
2)推理端来看,策略会上我们观察到,部分AI应用厂商已探索出可复制的落地场景,加
速实现从简单环节到复杂环节的产品升级。Agent的加速落地有望带来tokens调用量十到
百倍提升,推理需求有望加速放量,我们看好AI算力需求持续向上。
训练端:预训练ScalingLaw有望开启新起点
训练端来看,总结最近的大模型迭代趋势,模型架构的改进或是ScalingLaw提速的可行
性方案,预训练有望诞生新的起点。从近期的模型架构探索来看,腾讯发布的混元大语言
模型TurboS,是业界首个大规模部署的Transformer-Mamba专家混合(MoE)模型,通
过Mamba架构在长序列处理上的卓越效率与Transformer架构在上下文理解上的固有优势
的有机协同,实现了性能与效率的平衡。Google于5月的I/O大会上发布了GeminiDiffusion
文本扩散模型,能够通过将随机噪声转换为连贯的文本或代码来生成输出,类似图像/视频
生成模型的工作模式,GeminiDiffusion是大厂在商业化模型上首次将扩散模型用于文本生
成,或是类似于OpenAIo1一样的重要路径转折点。自2024年下半年模型参数的扩大的
趋势有所放缓,llya在NeurlPS演讲中表示互联网中用于模型训练的公开数据已到达瓶颈,
我们认为,模型架构的改进或为预训练阶段找到ScalingLaw的新路径,预训练阶段的AI
算力叙事有望开启新起点。
图表1:AI大模型演进历程
资料来源:OpenAI官网,华泰研究
产业端来看,我们也看到了算力需求继续上涨的积极信号,预训练的算力投入步伐从未停
下。
1)大规模算力集群随英伟达B系列交付节奏恢复加速落地。OpenAI星际之门项目与xAI
Colossus是全球大规模算力集群的代表项目,目前处于加速落地进程中。星际之门阿比林
一期工程将包含8个建筑,每座建筑中都会有5万块完全互
您可能关注的文档
- “打新定期跟踪”系列之二百一十六:A股年内最大IPO中策橡胶上市.pdf
- “反脆弱”系列专题之十二:政策性金融工具,“新”在何处?.pdf
- “国别研究”系列报告:东南亚调研之二,印尼见闻.pdf
- “学海拾珠”系列之二百三十八:高维环境下的最优因子择时.pdf
- 5月进出口数据点评:“β、α”二分法看5月出口.pdf
- 5月美国非农就业数据点评:强非农、弱ADP,降息预期再降温.pdf
- 5月美国非农数据点评:就业稳中趋弱,亮点在时薪增长.pdf
- 5月全球PMI:关税暂缓推动订单反弹.pdf
- 5月通胀数据点评:今年物价,哪些“强”,哪些“弱”?.pdf
- 5月外贸数据点评:出口增速回落,仍具韧性.pdf
文档评论(0)