大型神网络能力与计算不可约性权衡.pdfVIP

“足够大的神经网络当然无所不能！”

[美]斯蒂芬•拉姆（StephenWolfram）·这就是ChatGPT

ChatGPT的能力令人印象深刻，以至于人们可能会想象，如果能够上继续努力，训

练出越来越大的神经网络，那么它们最终将“无所不能”。对于那些容易思维理解的事

物，这确实很可能是成立的。但我们从科学在过去几百的得出的教有些事物

虽然可以通过形式化的过程来弄清楚，但并不容易立即为人类思维所理解。

非平凡的数学就是一个很好的例子，但实际而言，一般的例子是计算。最终的问题是计算不可

约性。有些计算虽然可能需要很多步才能完成，但实际上可以“简化”为相当直接的东西。但

计算不可约性的发现意味着这并不总是有效的。对于一些过程（可能像下面的例子一样），无

论如何都必须回溯每个计算步骤才能弄清楚发生了什么。

我们通常用大脑做的那类事情，大概是为了避免计算不可约性而特意选择的。在大脑中进行数

算需要特殊的努力。而且在实践中，仅凭大脑几乎无法“想透”任何非平凡程序的操作步

骤。

当然，我们可以用计算机来做这些。有了计算机，就可以轻