GPT模型如何理解抽象概念与智能涌现.pdfVIP

042｜心智2：GPT模型怎么理解抽象概念？

欢迎回到《科技参考》，我是

昨天我们介绍了GPT模型的推理细节，你会发现，很多人不屑一顾说

GPT是做文字接龙，这种太不可靠了。它其实玩儿的接龙游戏远远超

过咱们过节时做的文字接龙。GPT玩的那种接龙水平，肯定得是一个能

理解并会运用语言的人才能续写下去的，完全不是查查字典能应付

的。

可能你认为，即便接龙的不是词，而是短句，那它也是通过之前接近

5000亿个词的海量训练阅读内容掌握的，那些句子总归是一些它之前

见过的用法。如果你这么想，那就错了，因为GPT模型确实可以正确

回答很多训练材料里没有的问题。

咱们举一个最简单的例子，比如下面这。

999亿9999万9999乘以2939万4817等于多少？是一个两百

九十三万量级的数字，这个数字远远超过训练素材文字个数5000

亿的数字，所以这么大的数字不可能在训练素材中记下来的。而且，从

理论上也可以判断，训练过程是不可能把加减乘除等数算当作语料

去训练的。

我们前一集分析过了，它最后一步输出的结果是按照温度机制，是

统计学方式按概率采样的，并不只是输出概率最大的那个。所以如果采

样的话，数学结果出错的概率就特别高。而数学计算的结果不能靠统计

出来，只能是精确的计算。而我们要留意，刚刚GP