- 1、本文档共41页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
目录
ScalingLaw2.0,CSP的私域数据成为关键 3
关于ScalingLaw的争议,从数据规模到数据精度 3
CSP的三大利器:私域数据、推理需求、从云到端 5
CSP异军突起,百舸争流的算力竞争时代开启 9
从外采到自研,CSP的算力升级之路 9
CSP算力供应链新变革 16
端侧:豆包出圈,互联网巨头入局AI终端 28
字节豆包先行,加速端侧落地 28
AI终端空间广阔,SoC是影响体验的核心硬件 32
投资建议 36
行业投资建议 36
相关公司梳理 36
风险提示 40
插图目录 41
表格目录 41
ScalingLaw2.0,CSP的私域数据成为关键
关于ScalingLaw的争议,从数据规模到数据精度
大模型的摩尔定律,算力需求指数级增长
ScalingLaw是AI产业发展的通用规律,在ScalingLaw下,大模型对算力的需求以每年10倍左右的速度增长,甚至超过了摩尔定律下半导体晶体管密度的增长速度。AI大模型的算力需求在过去几年呈现快速增长的态势,Transformer算力需求在2年内增长750倍,平均每年以接近10倍的速度增长。以OpenAI的GPT为例,GPT1在2018年推出,参数量级为1亿个,OpenAI下一代推出的GPT5参数量级预计达到10万亿。
图1:AI大模型对算力的需求超过摩尔定律
资料来源:CSDN,
数据成为瓶颈,ScalingLaw放缓
大模型的ScalingLaw表明,计算量、数据量、参数规模三个因素的增长能够不断提升大模型的性能。在任意其他两个指标不受限制的情况下,大模型的性能和另一个因素都呈现幂律关系,在大模型过去的发展过程中,算力、数据量、参数规模三个指标均没有达到上限,ScalingLaw仍然在发挥作用,大模型的性能也在持续改善。
图2:ScalingLaw的三要素:算力、数据量、参数规模
资料来源:EliasZ.Wang《ScalingLawsforNeuralLanguageModels》,
然而公开数据量的有限性制约了ScalingLaw进一步发挥作用。据IDC,2018年全球数据总量为39.9ZB,预计到2028年,全球数据总量将达到393.8ZB,CAGR增速为25.7%,该增速远远低于ScalingLaw下大模型参数和算力需求每年10倍左右的增长速度。PabloVillalobos等人的研究表明,在2028年左右,大模型能够获得的数据量级将达到上限,受限于数据量,ScalingLaw将会放缓。实际上,由于大模型自2022年底以来的加速发展,数据量可能在2028年以前就会达到天花板,从而限制ScalingLaw发挥作用。
放缓 图3:2018-2028年全球数据量 图4:大模型ScalingLaw将在2028
放缓
资料来源:IDC, 资料来源:《Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata》PabloVillalobos等,
ScalingLaw2.0,高精度私域数据的强化学习
当下传统的ScalingLaw受限于数据量,私域高精度数据或成为ScalingLaw2.0的核心要素。12月15日,在NeurIPS大会上,OpenAI前首席科学家Ilya在公开演讲中提到,由于目前“我们已经达到了数据的峰值,未来不会再有更多的数据”,当前AI模型的预训练方式可能走向终结。Ilya的发言认为当前传统的ScalingLaw即将失效,新的ScalingLaw,即在特定领域的强化学习将发挥更
重要的作用。想要在特定领域训练出垂直化的“专家大模型”,数据的数量不再成为衡量数据好坏的唯一标准,数据的精度、准确度等指标更为重要,私域数据、人工标注的数据可能成为下一阶段大模型发展过程中的核心竞争力。
图5:低精度的训练数据增多可能反而对模型性能造成
损害
图6:使用更高精度的数据将减小因数据质量不佳而对
模型性能造成的损害
资料来源:《ScalingLawsforPrecision》, 资料来源:《ScalingLawsforPrecision》,
CSP的三大利器:私域数据、推理需求、从云到端
CSP:掌握私域数据,延续ScalingLaw
私域数据成为延续ScalingL
您可能关注的文档
- CES2025即将召开,AI仍是市场主线.docx
- DEEPSEEKV3发布,技术创新和商业化落地的共振.docx
- IFRS17对保险行业影响的深度解析:专题二,开启计量“黑盒子”.docx
- PCB行业深度跟踪报告:行业景气温和向上,AI算力/终端与汽车智能化共驱成长.docx
- REITs月报:REITs二级市场震荡上行,常态化发行进一步加速.docx
- 艾罗能源(688717)新产品与新市场,老牌户储企业打开第二成长曲线.docx
- 爱尔眼科首次覆盖:十年国内外开疆拓土,新征程继往开来.docx
- 安迪苏动态跟踪报告:蛋氨酸龙头行稳致远,背靠中化集团产业协同可期.docx
- 昂利康深度研究报告:渐入佳境的制剂一体化企业,步入加速成长期.docx
- 百年未有之大变局下的机遇与挑战(二):探寻美国单边主义对行业影响的线索.docx
- 计量规程规范 JJF 2153-2024强脉冲光治疗仪校准规范.pdf
- 《JJF 2153-2024强脉冲光治疗仪校准规范》.pdf
- JJF 1176-2024(0~2 300) ℃钨铼热电偶校准规范.pdf
- 《JJF 1176-2024(0~2 300) ℃钨铼热电偶校准规范》.pdf
- 计量规程规范 JJF 1176-2024(0~2 300) ℃钨铼热电偶校准规范.pdf
- JJF 2154-2024亚低温治疗仪校准规范.pdf
- 计量规程规范 JJF 2154-2024亚低温治疗仪校准规范.pdf
- 《JJF 2154-2024亚低温治疗仪校准规范》.pdf
- JJF 2180-2024婴儿辐射保暖台校准规范.pdf
- 计量规程规范 JJF 2180-2024婴儿辐射保暖台校准规范.pdf
文档评论(0)