第7讲 ChatGPT 需要什么资源？［防断更微coc3678］.pdfVIP

第7讲ChatGPT需要什么资源？

你好，欢迎来到《前沿课·吴军讲GPT》。

ChatGPT走红之后，国内很多媒体和人一下子慌了神。

各种媒体，特别是自媒体上，铺天盖地都是诸如“为什么中国没有诞生

ChatGPT”“美国将要爆发一场新的技术革命”之类的文章。很多研究

机构和企业都宣称，我们马上就要推出自己的ChatGPT。还有很多人

觉得，ChatGPT给自己带来了新机会。

其实，这样全民大炼ChatGPT，既不必要，也不可能。

这是为什么呢？不必要性，我们后面会慢慢展开讲。这一讲，先来谈谈

不可能性。

我们前面讲到，ChatGPT的核心是语言模型，而语言模型需要用大量

的数据来训练，有了数据后，还需要强大的算力支持，然后还需要有足

够高水平的并行计算和机器学习的算法支持。

数据、算力、算法三道坎，只有极少的互联网大厂能够越过去。

接下来，我们就从这三个方面分别来看一下。

限制一：数据

首先说第一个限制，数据。

早在2012年，我在Google训练自动问答的模型时，就用到了互联网

上能找到的几乎所有高质量的数据。今天的ChatGPT所用的数据更多，

特别是自媒体上的数据和社交网络上的数据。

这个数据量是极其庞大的。不是每个企业都能得到所有的这些数据。

限制二：算力

而且，就算一家企业今天能得到这些数据，