DeepSeek原理与效应分享.pptx

深度解读DeepSeek:原理与效应

熊德意天津大学

dyxiong@

https://dyxiong.github.io

https://tjunlp-lab.github.io

仁文伏羲伏羲传语

天津大学自然语言处理实验室

TheNaturalLanguageProcessingLaboratoryatTianjinUniversity

营

大语言模型发展路线图

DeepSeekV2-V3/R1技术原理DeepSeek效应

未来展望

报告目录

生成式Al:2014——2024

ENIAC图灵测试达特茅斯会议ELIZAAl寒冬I专家系统Al寒冬II统计方法NN再兴起

194519501956198019801990s1990-2000s2006-

AGI...ASI

20142024

生成式AI

生成式AI:使用生成式模型生成各类数据(语言、语音、图片、视频等)

oAttention:数据依存关系建模

oTransformer:数据生成的统一架构

oScalingLaws:数据学习、生成的扩展法则

oRLHF:生成与人类价值对齐的数据

o01/R1:生成式求解问题——生成问题求解的过程和答案(推理)

AttentionTran2sformer

ScalingLaws|GPT-32020

RLHF|ChatGPT2022

FigureL.Ourmodellearmsawords/imagealignment.Thevisual

izedattentionalmaps(3)areexplainedinSctions3.15.4

2024

water

生成式Al:2014——2024

ENIAC图灵测试达特茅斯会议ELIZAAl寒冬I专家系统Al寒冬II统计方法NN再兴起

194519501956198019801990s1990-2000s2006-

AGI...ASI

20142024

生成式AI

生成式Al:使用生成式模型生成各类数据(语言、语音、图片、视频等)

oAttention:数据依存关系建模

oTransformer:数据生成的统一架构

oScalingLaws:数据学习、生成的扩展法则

oRLHF:生成与人类价值对齐的数据

o01/R1:生成式求解问题——生成复杂问题的答案(推理)

ScalingLaws|GPT-32020

RLHF|ChatGPT2022

Tran2sformer

LakasrKaisr

GoogleBnin

lukanzkatserdgoogle.co

AidamN.Gomee

UniveniyofToroteaidanecs.toranto,ad

AshishVaswanl

GookBainavasvaniegoogle.co

LionJooesGoogleResanch11iontgoogle.cc

AttentionIsAllYouNeed

IⅢiPolosukhin

111a.polopukhintpai1.c04

JkabUokoreirGoogleResearch

NikiPrmarGoogleRescarch

nikipagoogle.c

Attention

NoamShareerGoogleBminmen0gpogle.c

Potion

Bror0

生成式Al:2014——2024

ENIAC图灵测试达特茅斯会议ELIZAAl寒冬I专家系统Al寒冬II统计方法NN再兴起

1