第2讲 ChatGPT 的本质是什么？[每天更新微coc3678].pdfVIP

第2讲ChatGPT的本质是什么？

欢迎来到《前沿课·吴军讲GPT》。

很多人喜欢说“某某技术横空出世”这样的话，渲染一种很神秘的

氛围。但我要提醒一个事实：新技术往往不神秘。世界上很多爆

红的产品和服务，其实使用的技术都是半个世纪之前的。

比如，如果你听过我讲5G的课，会知道5G通信中最关键的编

码技术，低密度奇偶检查码（LDPC）是上个世纪60年代提出的，

90年代前甚至被认为是无用的，但是后来5G用上了。

ChatGPT所依赖的语言模型技术也是如此，它到今天也有50多

年的历史了。换句话说，ChatGPT的底层技术是50年前的。

今天在媒体上，很多没有开发过相应技术的人，甚至很多学了一

点技术的研究生都会讲，技术发展了这么多年，不该早就超越了

当时的极限了吗？

其实，无论是在工业上，还是在信息产业上，技术确实是可以改

变的，但是物理学和信息论的原理和极限是无法改变的。虽然今

天人工智能使用的语言模型和50年前在技术上有很大的不同，

但是它们的原理是一样的。这一讲，我们就来把ChatGPT的底

层技术，也就是语言模型说明白。

什么是语言模型？

什么是语言模型？顾名思义，就是对人类的语言建立数学模型。

这里面最重要的关键词是“数学”。

语言模型不是逻辑框架，不是生物学的反馈系统，而是由数学公

式构建的模