人工智能奇点：文明威胁隐忧.pdfVIP

当奇点来临，的发展是福是祸？

感谢老师，问候在场的各位；下面由我来介绍我方辩论选手，反方一辩，反方二辩，反

方三辩，反方四辩。

我方认为：新是一把达摩克利斯之剑，它会时刻着人类文明的发展和延续，假设

在一个足够长的时间尺度上，人类文明的发生是一定的。

首先，我方确奇点的概念。

奇点指的是的发展出现智能，新的出现是奇点到来的标志。

新AI指的是达到人脑水平的，可以全面、综合地复现人类大多数(或全部)的思

维能力，能够进行思考、计划、解决问题、理解复杂理念、快速学习和从经验中学习等操作。

我方将从以下几点论述：

第一，新AI是一个在硬件和软件上远超人类智能的存在，在此基础上新AI的发展远比

人类智能快，而这意味着人类很难理解新AI这种存在。

根据加速回报定律，自我改进的新AI，其智能发展速度远比人类智能快。简单的说：当一

个正常人类智能水平的新AI完成一次自我改进后，它比原来更加聪明了。这个时候它继续进

行自我改进，然而因为它有了更高水平的智能，所以这次改进会比上面一次效果更好。如此

反复，这个新AI的智能水平越长越快，考虑到新AI之于人脑的种种优势，其只会在“人类水

平”这个节点做短暂的停留，然后这个差距会像增长的指数函数一样越来越大，最后就像蚂

蚁的智能很难理解人类一样，人类的智能很难理解新AI。

第二，人类很难做出这样的预测新AI为了达成目的其花费的代价人类能承受，而且人

类很难掌控新AI。这意味着在一个足够长的时间尺度上，新AI可能会人类文明的发展

和延续。

2015年初，•比尔•盖茨和埃隆•等人签署了一封，呼吁控制

开发。认为会“唤出恶魔”，比核对人类的还大。则明

确断言：彻底开发可能导致人类。

科学家们担忧的

在人类心理中，我们把事情分成道德的和不道德的，但是这两种只存在于人类行为之中。超出

人类心理的范畴，道德（moral）和不道德(immoral)之外，的是非道德性（amoral）。新AI

属于非道德范畴。

人类的目标是延续自己的。为达成这个目标，之一就是自保，而道德是其

约束条件之一。

那非道德范畴的新AI呢

我们给AI设定的目标，它计划实现的目标就。

新AI在计划实现最终目标时，基于智能的差距，人类很难做出这样的预测新AI为了

达成目的所花费的代价相比于人类道德框架下的结果得到的收益更大。假设人类是它达成目

标的绊脚石，作为非道德范畴的新AI，其达成目的代价可能是消灭绊脚石，这种代价是人类

很难承受的，尽管它对人类没有，就好像你剪头发时对头发没有一样。

而且人类任何试图控制新AI的行为都是荒谬的。人类会用人类的智能级别思考，而新

AI会用新AI智能级别思考。作为人类去控制新AI，在智能方面就已经有边际了，而且差距

不小。

综上所述，当奇点到来，新AI这把悬在人类头顶的剑，会时刻着人类文明的发展

和延续，假设在一个足够长的时间尺度上，人类文明的发生是一定的。

“超级智能的意义不在于取悦人类的已有观念，而是彻底击碎我们的傲慢与愚蠢。”