人工智能与大模型通论.docxVIP

人工智能与大模型通论

清华大学人工智能研究院常务副院长孙茂松

1950图灵测试

Turingtest“Canmachinesthink?”

阿兰˙图灵

图灵在文章中提出的问答测试样例

2

2022ChatGPT与图灵测试

3

2022ChatGPT与图灵测试

4

人工智能发展历史走向

5

大规模深层神经网络（深度学习）

6

2010语音识别（感知+认知）

7

2012图像识别（感知+认知）

8

2015机器翻译（认知）

9

2016AlphaGo

10

深度学习第一重境界：白手起家+各家自扫门前雪

11

深度学习第二重境界：预训练模型+大小联调

12

深度学习第三重境界：预训练大模型+一巨托众小

13

大道至简：语言生成模型(GPT-3)

+下一个词预测

14

大道至简：语言生成模型(GPT-3)

+学习并存储世界知识（Worldknowledge）

ThecurrentcapitalofBrazil,sinceitsconstructionin1960,is[Brasilia]

+学习得出合乎逻辑和常识的结论（Logicalandcommonsenseconclusion)

ShewantedtogotoChinaorJapan.ForChinashecouldn’tgetavisa,soshewentto[Japan]

Hehadtobeattheairportin90min.Sincehiscarwasstillintheshopandtherewerenobussesgoingtotheairport,hecalleda[taxi]

15

语言生成模型的特点

GPT：强大而较为准确的理解和生成能力（莫作临岐叹，行藏总自如？）及与生俱来的“幻觉”问题（按概率随机游走？）

山东最高的山是哪座山？哪座山是山东最高的？

山东最高的山是哪座山？山西最高的山是哪座山?

北京的女孩很大气。北京女孩很大气。北京的大学很赞。北京大学很赞。

北京文化研究会……

17

AIGC（人工智能生成内容）具有天马行空式创造性

18

AIGC的多样性

?上联：夜阑卧听风吹雨

top-psearch

top-psearch

?兴到狂吟雪满枝

?晓起坐看露湿衣

?醉后休夸柳漫山

?春暖吟看雪映梅

?更起愁看月破云

19

AIGC的个性化

20

新的摩尔定律?

21

大模型：力拔山兮气盖世

22

谷歌PaLM（2022）：5400亿参数

Asthescaleofthemodelincreases,theperformanceimprovesacrosstaskswhilealsounlockingnewcapabilities.

来源：/2022/04/pathways-language-model-palm-scaling-to.html

23

大模型：与大数据相得益彰

AnnualSizeoftheGlobalDatasphere(Source:IDCDataAge2025)

/2020/12/31/self-supervised-learning.html

25

大模型+大数据：大算力

26

大道至简：从GPT-3到ChatGPT

+你昨晚在城隍庙吃了什么？吃了上海小笼包。good吃了上海烤鸭。bad

29

通用人工智能?

休伯特·德雷福斯教授（国际著名现象学家，曾任美国哲学学会会长）以兰德公司顾问的身份，1965年发表了《炼金术与人工智能》报告，1972年以该报告为基础出版了《计算机不能做什么——人工智能的极限》，指出：如果我们的目标是要到月亮上去，AI现有的做法无非是爬上一棵高树，虽然离月亮近了一些，但永远都无法到月亮上去。

“物之反常者为妖”（纪晓岚《阅微草堂笔记》）：事出神奇必有仙

30

ChatGPT之玄机：复杂系统的涌现现象？

+1972年PhilipAnderson（物理学家、诺贝尔奖得主）Science文章：Emergenceiswhenquantitativechangesinasystemresultin

qualitativechangesinbehavior.

+一个典型的复杂系统由无数个个体成分或因子构成，它们聚集在一起会呈现出集体特性，这种特性通常不会体现在个体的特性中，又无法轻易地从个体的特性中预测。

31

部分内