原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
______________.
MGPT到Deenseek
为什么是语言?
大模型又称大语言模型（LargeLanguageModels）
语言是人类交流思想、表达情感最自然、最深刻、最方便的工具
什么是自然语言处理?
自然语言指的是人类语言，特指文本符号，而非语音信号
n自然语言处理（Natural
n自然语言处理（NaturalLanguageProcessing，NLP）用计算机来理解和生成自然语言的各种理论和方法
n属于认知智能是人类和动物的主要区别之一需要更强的抽象和推理能力
运算智能
感知智能
认知智能
能存储会计算
能听会说能看会认
能理解会思考
自然语言处理成为制约人工智能取得更大突破和更广泛应用的瓶颈
深度学习的下一个大的进展应该是让神经网络真正理解文档的内容——
深度学习的下一个大的进展应该是
让神经网络真正理解文档的内容
——诺贝尔奖得主、图灵奖得主、深度学习之父GeoffreyHinton
如果给我10
如果给我10
——美国双院院士、世界知名机器学习专家
MichaelI.Jordan
自然语言理解
——图灵奖得主、MetaAI负责人
YannLeCun
——美国工程院士、微软前全球执行副总裁沈向洋
——美国工程院士、微软前全球执行
副总裁沈向洋
自然语言处理的发展历史
自然语言处理技术已经经历了五次范式变迁
浅层机器学习算法小规模专家知识19502010
浅层机器学习算法
小规模专家知识
1950~1990
预训练语言模型
深度学习
2018~2023
2010~2017
大模型
2023~2024
GPT
输出层吃土豆炖茄子。Transformer
输出层
吃土豆炖茄子。
Transformer
词嵌入层MMMMM输入层喜欢吃土豆炖茄子预训练阶段n哈工大位于____
词嵌入层
MMMMM
输入层喜欢吃土豆炖茄子
预训练阶段
n哈工大位于____[知识]
n我在水果店看到了苹果、香蕉、____[语义]
n小明打了小红，然后她____[推理、指代]
n我一定推荐给朋友看，这部电影真是____[情感]n
……
GPT
输出层褒义n使用建模能力更强的Transformer模型
输出层褒义
n在目标任务上精调整个预训练模型
任务层n接入的下游任务模型可以非常简单
任务层
TransformEr
TransformEr
词嵌入层MMMMMII输入层我爱吃马铃薯[PAD]
词嵌入层
MMMMM
II
输入层我爱吃马铃薯
文档评论（0）