- 1、本文档共32页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
解码DeepSeek,
构建医药?业新质?产?
腾讯健康
07
?录
?从DeepSeek看??智能发展趋势
??模型及DeepSeek潜在应?场景探索
从DeepSeek看??智能发展趋势
AI离我们越来越近,越来越密集的“加速”信号
201720241950sChatgpt,C端破圈CNN,?脸识别
2017
2024
1950s
Chatgpt,C端破圈S,“Aha”时刻“AI”概念?世Alpha,?战李世?
2012
2022
DS,“Aha”时刻
“AI”概念?世
4
AI技术演变路线
?1987-2020年之前的主导是“?数据、?算?、专?决策范式”。
?2020年后,GPT-3代表技术路线“?数据、?算?、通?范式”,验证?语?模型的可?性。
?GPT3/4在深度推理和问题解决??有所?缺,OpenAI-o1通过思维链(ChainofThought)增强推理能?,将复杂问题分解成更?、更易处理的步骤;?DeepSeekR1在展现卓越推理能?同时,训练和推理成本极低
DeepSeek-R1GPT为内容创造和自动推理开辟可能性“大数据、大算力、通用模式”
DeepSeek-R1
基于DS-v3构建推理模
型,通过强化学习提升推理能力,且训练成本极低
BERT
BERT在文本分类、命名实体识别等语言理解任务表现出色。也是医疗AI小模型年代主要技术路线
“大数据、小算力、专用决策”
5数据来源:1.甲?光年智库梳理,2023年;
5
理解Chatgpt,?个AI领域的“?程奇迹”
体验:哎哟不错噢
低成本,超出?户预期的“智能”
增长:破圈,两个?到?亿?户的速度
“创新落后”的机会成本被不断放?
产品:典型的2B能?集合
快速推出全家桶和云服务矩阵
市场:典型的B端商业模式
快速市场预热和商业化
数?TB?质量数据
Chatbot:
?本交互式应?
数万对?质量prompt
Gpt3:
预训练?模型
Promptengineering提?词?程
NvidiaA100(A800)?性能卡
RLHF
强化学习
SFTRDMA
监督微调解决数据处理的延迟
顶尖的AI?才
6
再看DeepSeek,??个“?程奇迹”
DeepSeek是“深度求索”开发的?系列??智能模型。DeepSeek通过持续的技术创新和市场拓展,在?然语?处理和?型语?模型??取得了显著进展,在国际市场上获得了?泛认可。其中:
?DeepSeek-V3是在14.8万亿?质量token上完成预训练的?个强?的混合专家(MoE)语?模型,拥有6710亿参数(激活参数370亿)。作为通??语?模型,其在在知识类任务(知识问答、内容?成等)领域表现出?
?DeepSeek-R1是基于DeepSeek-V3-Base训练?成的强化推理能?模型,在数学、代码?成和逻辑推断等复杂推理任务上表现优异
开源模型?肩头部闭源60%+指标优于Llama3.1Claude-3.5GPT-4o更低的研发成本*
开源模型?肩头部闭源
60%+指标优于
Llama3.1Claude-3.5GPT-4o
$5.5Mvs.OpenAI’s$100M+使?~2,000GPUs,竞品使?
10,000+GPUs
打破?模型技术壁垒
重挫美国科技公司股价,英伟达市值下跌5,900亿
AI的斯普特尼克时刻
被美国及其盟友列?各种限制
7数据来源:*仅涵盖预训练成本,不包含研发、推理、后训练、员?等其他成本;2.Sputnik时刻,指1957年10?4?苏联抢先美国成功发射斯普特尼克1号?造卫星,是冷战中的其中?个重?事件及转捩点
7
效果体验惊艳,成本极致压缩
FPB混合精度训练?
FPB混合精度训练
?传统模型需要?32位或者16位数记录数字
?“?机号码,记最后4位”
?提升训练速度同时保持精度,降低硬件门槛
?每次推理仅激活相关专家,“术业有专攻”
?“专事专办、要事要办?事不办尽量不跨组解决”
?节省42.5%训练成本
数据蒸馏技术?从海量数据中提炼?价值信息,提升模型
数据蒸馏技术
?从海量数据中提炼?价值信息,提升模型学习效率
?蒸馏垂类?模型能?,不输于全尺?模型
?注意?机制?作图书检索系统
?MLA建??个智能分类系统,不记具体信息,?是?个“简单”标签
?模型的占
您可能关注的文档
- 中医药老字号知嘛健康旗下健康养生品牌零售门店整合营销方案.pptx
- 2024年纺织用无氟防水剂行业白皮书-德美化工&中国纺织信息中心.pptx
- 汽车集团招聘号公众号运营方案【HR公众号运营】【汽车招聘】.pptx
- 小吃快餐产业发展报告2025.pptx
- 医疗器械行业人才供需洞察报告.pptx
- 2024年消费者权益保护白皮书.pptx
- 灵巧手专题系列报告1:从灵巧手专利拆解出发:看驱动及传动路径如何?.pptx
- 2024年纺织用无氟防水剂行业白皮书-德美化工&中国纺织信息中心.docx
- 汽车集团招聘号公众号运营方案【HR公众号运营】【汽车招聘】.docx
- 洞察亚洲旅游新浪潮-2024年新加坡入境游的重磅趋势报告-新加坡旅游局&携程.docx
文档评论(0)