信息安全资料语模型与智能的未来-金小刚.pdfVIP

⼤语⾔模型与⼈⼯智能的未来

解码｜⼤语⾔模型

2022年11⽉30⽇，ChatGPT横空出世，在全球范围内成为讨论热点。

•根据Similarweb的数据，2023年1⽉，平均每天约有1300万独⽴访客使

⽤ChatGPT，累计⽤户超1亿，创下了互联⽹最快破亿应⽤的记录，超

过了之前TikTok9个⽉破亿的速度。｜商业模式的胜利

•让Google的股价2天跌2000亿美⾦。

•美国宾夕法尼亚⼤学发现，ChatGPT能够通过该校⼯商管理硕⼠MBA课

程的期末考试。

•ChatGPT还成功通过了⾕歌的编程⾯试，拿到了年薪18.3万美元的L3⼯

程师offer。

围观ChatGPT，究竟在围观什么？

Transformer（2017，attention）、

GPT2（2019，Textin，Textout统一NLP任务

模型结构｜

）、GPT3（2020，大模型能力提升）

ChatGPT

Bert（2018，大模型预训练、FLAN（2022，2022.

指令微调，学会人类指令）、RLHF（2022，

训练技术｜

基于人类反馈，学习人类偏好）

算力+系统

数据

ChatGPT，LLM，是⼯程化的成功

•在openAI发布的技术⽂档中，更是

直接使⽤minecraft作为案例。

•2016年，openAI成⽴之初就选择了

要素复杂的游戏DOTA2作为训练环

境。

•2018年成功打造出openAIFive战胜

DOTA2世界冠军战队。

GPT系列：⽂⽣⽂

•收购的第⼀个公司是⼀家游戏公司

DALL·E：⽂⽣图

Sora：⽂⽣视频（将时⻓拉到60秒）GlobalIllumination。

游戏科技，才是孕育LLM的摇篮。以硬件为代表的算⼒，以游戏为代表的消费

市场，以AI为代表的创新，三者实现了良性循环。

拥抱｜AI普惠公众的时代

知识表示⽅式调⽤⽅式研究领域代表应⽤代表公司

Oracle

关系数据库SQL数据库DBMS

Microsoft

互联⽹关键词信息检索搜索引擎Google

Microsoft

⼤模型⾃然语⾔⾃然语⾔理解LLM

⼤语⾔模型，是