- 1、本文档共19页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
DeepSeek算法变革路径开启AI算法变革元年微信公众号:零竖质量
目录Part01DeepSeek的出现,意味着算力效率拐点显现Part02DeepSeek的推理模型开启算法变革的元年Part03DeepSeek算法变革路径:非Transformer架构的算法模型Part04DeepSeek算法变革推动AI普惠应用微信公众号:零竖质量
1、人工智能的发展已到战略拐点经过近七十年的发展,人工智能自出现至今其核心能力一直在提升,到如今已经成为覆盖感知、认知、决策、学习、执行、社会协作能力,未来还会向符合
人类情感、伦理与道德观念的智能机器迈进。发展到现在,人工智能的技术能力已经到了一个拐点,即从技术能力驱动向需求应用驱动转型的关键时期。随着技术能力的提升,技术进化引发经济进化,从旧范式抵达新范式。如今人工智能的发展已经处于从第三阶段向第四阶段过渡的时期。人工智能的能力成长历程已经足够长,到了寻找需求的战略拐点。图1:技术革命的周期性示意图技术能力第一阶段酝酿期看得到新技术技术大爆炸第二阶段新产品、新产业的爆炸性增长和迅速创新构造范式看得懂新技术第三阶段全部集群(新产业、技术体系和基础设施)AI所处位置第四阶段创新和市场潜力的全面扩张产业范式的颠覆式创新扩张成长期产业化新产品、新产业、新技术体系接连出现并持续更新用得上新技术用得好新技术第五阶段新产品和新产业接近成熟,已经构建独立的技术体系成熟期中国式新技术产业发展微信公众号:零竖质量
2、算力拐点:DeepSeek的出现,意味着算力效率拐点显现DeepSeek通过优化算法架构,显著提升了算力利用效率,打破了算力至上的传统认知GeminiUltraClaude2o1
GPT-4oLlama2-70BBaichuan2-13BBaichuan2-7BGLM-130BDeepSeeDeepSeek-R1-671Bk-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-1.5B训练算力(petaFLOPs)1.E+121.E+101.E+081.E+061.E+041.E+022011AlexNet20122015Megatron-TuringNLG530BGPT-3175B(davinci)BERT-LargeTransformer201620172018201920202021PaLM(540B)20222023GPT-42024信公众号:零竖质量
2、算力拐点:DeepSeek的出现,意味着算力效率拐点显现DeepSeek通过重新设计AIInfra,验证“性价比”训练路径DeepSeek-R1的惊艳之处是通过重新设计训练流程、以少量SFT数据+多轮强化学习的办法,在提高了模型准确性的同时,也显著降低了内存占用和计算开销。DeepSeek-R1提供了一种低成本训练的方法,而不是说只能通过低成本来进行训练。反而通过优化,DeepSeek-R1可能实现了算力与性能的近似线性关系。每增加一张GPU,模型推理能力可稳定提升,无需依赖复杂的外部监督机制。这一特性直接验证了“算力即性能”的ScalingLaw,为AI芯片市场及AIInfra市场提供了明确的增量需求逻辑。高模型效果低DeepSeek-R1的效果示意:更少的GPU(或其他AI芯片)带来同样的效果DeepSeek-R1少GPU数量多备注:该图仅为示意,不代表实际情况下具体数量与效果的对比
*该图为无编码基础分析师通过DeepSeekR1协作利用python编码生成微信公众号:零竖质量
3、数据拐点:AI基础大模型的参数量迎来拐点2025年发布的大模型,都具有低参数量的特征,为本地化部署到AI终端运行提供了可能2024年之前,最大参数量一直在增长2025年发布的大模型开始分化为两极图:AI预训练模型的参数规模呈现走势Llama3-400B-InTraining4万亿M61750亿2018年6月2018年10月2019年2月2019年7月2020年6月2021年12月2023年2024年GPT-11.17亿BERT-LargeGPT-23.4亿15亿FacebookGPT-394亿1750亿新版BERT4810亿高参数量DeepSeek-R1-671B,6710MiniMax-Text-01,4560MiniMax-VL-01,4560DeepSeek-R1-Distill-Phi-4,140Qwen-1.5B,15DeepSeek-R1-Distill-Qwen-32B,3202025年1月
文档评论(0)