网站大量收购闲置独家精品文档,联系QQ:2885784924

电子行业深度报告:云厂商引领与内需为王.docx

电子行业深度报告:云厂商引领与内需为王.docx

  1. 1、本文档共41页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

目录

ScalingLaw2.0,CSP的私域数据成为关键 3

关于ScalingLaw的争议,从数据规模到数据精度 3

CSP的三大利器:私域数据、推理需求、从云到端 5

CSP异军突起,百舸争流的算力竞争时代开启 9

从外采到自研,CSP的算力升级之路 9

CSP算力供应链新变革 16

端侧:豆包出圈,互联网巨头入局AI终端 28

字节豆包先行,加速端侧落地 28

AI终端空间广阔,SoC是影响体验的核心硬件 32

投资建议 36

行业投资建议 36

相关公司梳理 36

风险提示 40

插图目录 41

表格目录 41

ScalingLaw2.0,CSP的私域数据成为关键

关于ScalingLaw的争议,从数据规模到数据精度

大模型的摩尔定律,算力需求指数级增长

ScalingLaw是AI产业发展的通用规律,在ScalingLaw下,大模型对算力的需求以每年10倍左右的速度增长,甚至超过了摩尔定律下半导体晶体管密度的增长速度。AI大模型的算力需求在过去几年呈现快速增长的态势,Transformer算力需求在2年内增长750倍,平均每年以接近10倍的速度增长。以OpenAI的GPT为例,GPT1在2018年推出,参数量级为1亿个,OpenAI下一代推出的GPT5参数量级预计达到10万亿。

图1:AI大模型对算力的需求超过摩尔定律

资料来源:CSDN,

数据成为瓶颈,ScalingLaw放缓

大模型的ScalingLaw表明,计算量、数据量、参数规模三个因素的增长能够不断提升大模型的性能。在任意其他两个指标不受限制的情况下,大模型的性能和另一个因素都呈现幂律关系,在大模型过去的发展过程中,算力、数据量、参数规模三个指标均没有达到上限,ScalingLaw仍然在发挥作用,大模型的性能也在持续改善。

图2:ScalingLaw的三要素:算力、数据量、参数规模

资料来源:EliasZ.Wang《ScalingLawsforNeuralLanguageModels》,

然而公开数据量的有限性制约了ScalingLaw进一步发挥作用。据IDC,2018年全球数据总量为39.9ZB,预计到2028年,全球数据总量将达到393.8ZB,CAGR增速为25.7%,该增速远远低于ScalingLaw下大模型参数和算力需求每年10倍左右的增长速度。PabloVillalobos等人的研究表明,在2028年左右,大模型能够获得的数据量级将达到上限,受限于数据量,ScalingLaw将会放缓。实际上,由于大模型自2022年底以来的加速发展,数据量可能在2028年以前就会达到天花板,从而限制ScalingLaw发挥作用。

放缓 图3:2018-2028年全球数据量 图4:大模型ScalingLaw将在2028

放缓

资料来源:IDC, 资料来源:《Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata》PabloVillalobos等,

ScalingLaw2.0,高精度私域数据的强化学习

当下传统的ScalingLaw受限于数据量,私域高精度数据或成为ScalingLaw2.0的核心要素。12月15日,在NeurIPS大会上,OpenAI前首席科学家Ilya在公开演讲中提到,由于目前“我们已经达到了数据的峰值,未来不会再有更多的数据”,当前AI模型的预训练方式可能走向终结。Ilya的发言认为当前传统的ScalingLaw即将失效,新的ScalingLaw,即在特定领域的强化学习将发挥更

重要的作用。想要在特定领域训练出垂直化的“专家大模型”,数据的数量不再成为衡量数据好坏的唯一标准,数据的精度、准确度等指标更为重要,私域数据、人工标注的数据可能成为下一阶段大模型发展过程中的核心竞争力。

图5:低精度的训练数据增多可能反而对模型性能造成

损害

图6:使用更高精度的数据将减小因数据质量不佳而对

模型性能造成的损害

资料来源:《ScalingLawsforPrecision》, 资料来源:《ScalingLawsforPrecision》,

CSP的三大利器:私域数据、推理需求、从云到端

CSP:掌握私域数据,延续ScalingLaw

私域数据成为延续ScalingL

您可能关注的文档

文档评论(0)

535600147 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:6010104234000003

1亿VIP精品文档

相关文档