- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
DeepSeek洞察与大模型应用
人工智能技术发展与应用实践;
中美在Al领域的现状及对比;
幻方/DeepSeek时间线
幻方AI
R1
2021
V3
量化破千亿规模
跻身量化“四大天王”
v?
deepseek
仅1元
20192019
成立幻方AI萤火一号集群
幻方人工智能基础500卡
研究有限公司后增加1100加速卡
2亿投资;
DeepSeek-V3(对标GPT-4o)于2024年12月
26日推出,因其显著的性能,用户迅速开始增长
·Deepseek-V3仍是基于Transformer架构的模型,是一个强大的混合专家(MoE)模型,总共有671B个参数,生成每个token时激活37B参数
·训练成本比Llama405B低一个量级
·DeepSeek-V3所采用的技术:
·MLA多头潜在注意力机制(降低显存占用)
·MTP多token预测(提升效果、提升推理速度)
·FP8混合精度训练、DualPipe流水线、MoE负载均衡(提升训练效率,降低训练成本);
DeepSeek-R1(对标GPT-o1)于2025年1月
20日推出,随后DeepSeek进一步出圈
·R1推出后,追平GPT-o1,迅速出圈海外。从
DeepSeek在美国下载排名从1月22日的201名,迅速在1月27日登顶第一名;截止1月30日,DeepSeek在168个国家位居下载榜第一名
·DeepSeek-R1-Zero:一种通过大规模强化学习(RL
)训练的模型,没有监督微调(SFT)作为初步步骤,展示了卓越的推理能力。通过强化学习,R1-Zero自然而然地出现了许多强大而有趣的推理行为;但是,遇到了可读性差和语言混合等挑战
·DeepSeek-R1:为了解决这些问题并进一步提高推理性能,DeepSeek团队引入了R1,它在RL之前结合了多阶段训练和少量冷启动数据。R1在推理任务上实现了与OpenAI-o1-1217相当的性能;
Rank*
(UB)
1
1
1
4
4
4
7
7
9
9
9
9
9;
DeepSeek模型效果(2/2)
■DeepSeek-V3和R1相对于700亿以下开源模型(以干问720亿为代表),多项能力明显提升,扩充了其能力边界
■DeepSeek-R1引入深度推理能力,在代码、数学、复杂规划等方面的能力显著增强,使得对于新场景的支持成为可能;
模型;
训练耗时
单元:万GPU小时
40-
30.8下降一个量级
20-
0
Uama3.14058DeepSeekV3671B
MMLU得分
90
Cksude-3.5-Sonnet
●GPT-4o
●Uama31-4058
·Qwen25-72B
82*DeepSoek-23
●GPT-40mini
API价格¥/Mtokens
10
)100;;
DS开源策略全面冲击基础模型商业模式,将大厂在C端、B端过去一年构建的技术优势拉回同一起跑线,市场竞争从一阶段比拼模型能力,进入比拼应用、数据、工程化交付能力的第二阶段
C端AI应用市场格局重构,新入局者迎来机遇B端客户全面评估DS影响,重新论证基础模型选型;
中美在Al领域的现状及对比;
全球数字科技人才总量H-index20以上人才数量
■12758a724
M7,146
3520
3492
3325
1+27
768111+12219
758311204686工工1266
s422湖=212;
中美在
文档评论(0)