网站大量收购独家精品文档,联系QQ:2885784924

【DeepSeek市场报告】计算机行业:DeepSeekV3%26R1加速LLM训练%26推理端降本.pptxVIP

【DeepSeek市场报告】计算机行业:DeepSeekV3%26R1加速LLM训练%26推理端降本.pptx

  1. 1、本文档共23页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

;报告摘要;报告摘要;资料来源:DeepSeek-V3TechnicalReport、DeepSeek官网、OpenAI官网、方正证券研究所;DeepSeekV3核心创新点:MLA(Multi-headLatentAttention)——压降推理成本;DeepSeekV3核心创新点:MoE(Mixture-of-Experts)——压降训练成本;DeepSeekV3核心创新点:MoE(Mixture-of-Experts)——压降训练成本;DeepSeekV3:MTP(Multi-TokenPrediction)——进一步提高训练效率+提高模型的推理能力;DeepSeekV3:MTP(Multi-TokenPrediction)——进一步提高训练效率+提高模型的推理能力;DeepSeekV3:MTP(Multi-TokenPrediction)——进一步提高训练效率+提高模型的推理能力;DeepSeekV3:PostTraining——SFT与基于GRPO(GroupRelativePolicyOptimization)的RL过程

DeepSeekV3的SFT(SupervisedFine-Tuning):DeepSeek-V3在一个包含1.5M个“指令-响应对”的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域,并采用了不同的数据构建策略,以最大程度地激发模型的潜能。DeepSeek采用了基于DeepSeek-R1(这里容易混淆R1与V3是“鸡生蛋还是蛋生鸡”,可能的时间线:V3没经过SFT的V3-base版本是生成R1的基础模型;R1作为推理能力更强的模型,其生成的优质SFT数据反过来针对V3-base版进行微调,得到完整版的V3)模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色,但其生成的响应往往存在过度推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性,SFT阶段对于每个问题生成两种类型SFT样本(分别是问题,原始答案、问题,原始答案,R1的答案)),旨在引导模型蒸馏R1能力且生成更符合人类偏好的响应。非推理类数据利用DeepSeekV2.5生成响应+人工进行标注校验。

DeepSeekV3的RL实现方式——GRPO:与传统的PPO(近端策略优化算法)不同,GRPO(群体相对策略优化算法)不需要一个单独

的Critic模型来估计Value函数,而是通过比较一组样本的奖励来估计奖励值。DS的实验结果表明,较之V2(SFT),RL后的V2在;DeepSeekV3:通信优化计算优化PTX层优化;DeepSeekV3:通信优化计算优化PTX层优化;DeepSeekR1:影响全球AI产业生态的里程碑式模型;DeepSeekR1:直接从R1-Zero与R1的Pipeline引申出核心???论;DeepSeekR1:开源协议宽松,纯靠闭源模型收高昂“token税”的商业模式必然承压;DeepSeekV3R1对产业的影响:看好AI应用/端侧AI/to-CAI/传统非AI公司受益技术/数据平权及AI降本

当训练/推理/高质量数据都不再是门槛且蒸馏领先模型就是捷径,我们得出一些直观结论:

后发者将迅速收敛与行业领先者的差距:LLM发力相对晚些的互联网大厂(例如小米、京东、快手等)将快速收敛与LLM头

部大厂之间的差距(阿里、字节、OpenAI、Meta、Google等);映射到智联汽车领域,传统车企或许也有可能加速收敛与

特斯拉、华为、小鹏等头部智驾厂商的差距。

主业的垄断程度又变得重要:“数据平权+技术平权”背景下,商业竞争的核心可能又会从AI切换为公司主业的过往竞争力,传统非AI公司估值可能重塑;

AI应用端侧确定性受益:训练/推理成本指数级下降,且大模型蒸馏出的小模型效果提升显著;AI应用的迭代成本明显下

降端侧模型的可用性明显提高,泛AI应用包括手机、PC、智能车、机器人在内的泛端侧AI及其底层芯片/模组全面受益。

To-C可能比To-B更受益:B端普遍在讲基于调用token分润的叙事,当有个开源产品提供的推理价格已经收敛到接近推理成本的时候,to-Btoken分润的收入不见得能cover为定制化付出的实施/交付成本。

ASICVS通用GPU:“算法+硬件+系统架构”协同优化确实能大幅提升硬件利用率,这说明通用GPU/CPU头部厂商垄断地位并不稳固,国产GPU/CPU随着市占提升/生态改善,将会更加繁荣。

一些我们不好下判断的命题——杰文斯悖论能否实现技术创新是否会放缓:

云端算力的杰文斯悖论短期兑现难度可能比较大:当训练/推理成本(ASP)降低了10x以上且大部分厂商只需要蒸馏而不需要费

您可能关注的文档

文档评论(0)

行业研究报告 + 关注
实名认证
服务提供商

市场分析:提供详细的市场规模、市场趋势、市场需求以及竞争格局的分析,帮助客户了解行业的现状和发展前景。 竞争对手研究:深入分析主要竞争对手的市场份额、业务模式、优势劣势等,提供差异化竞争策略建议。 行业动态:跟踪行业最新的政策法规、技术创新和市场动向,帮助客户及时掌握行业变化。 客户需求分析:研究目标客户的偏好、消费习惯和需求变化,为产品定位和市场营销提供支持。 投融资分析:分析行业内的投融资活动和资本流向,帮助客户评估投资机会和风险。

版权声明书
用户编号:7144145123000015

1亿VIP精品文档

相关文档