人工智能先锋Stuart Russell谈论：智能本质与人工智能安全的巨大挑战.doc

中国养猪网 http://www.zhuwang.cc/ 今年一月，英裔美籍计算机科学家Stuart Russell起草了一份公开信，他也是这份公开信首位签署人，在这份公开信中，Stuart Russell呼吁研究人员，虽然当前大家的目标是希望人工智能变得强大，但千万不要鼠目寸光，局限在这个目标上面。在这份公开信中写道，“我们提醒研究人员注意，随着人工智能系统的能力越来越强大，我们希望这个系统更加稳定，同时也要对人类有益。我们的人工智能系统，必须要做人类要求它们做的东西。”目前，已经有数千人在这份公开信上签名，包括谷歌，Facebook，微软公司内研究人工智能的专家，以及全球其他行业中心里的顶尖计算机科学家，物理学家，以及哲学家。在今年三月底，大约有300名研究人员开启了一项新研究，希望让人工智能对人类更加有益，而资助这份研究的资金则是由该公开信的第37位签署人赞助的，他就是现实版“钢铁侠”Elon Musk。 Russell今年53岁，是加州大学伯克利分校人工智能系统中心创始人兼计算机科学专业教授，他一直在关注人工智能的发展和影响。Russell写了200多页的论文，同时他还是人工智能领域里“标准教科书”-----《人工智能：一种现代化方法》作者（谷歌研究主管Peter Norvig也是该书作者）。但是，随着人工智能发展的速度越来越快，加剧了Russell对这一领域的担忧。近日他表示，人工智能有了很大跨越，很大程度上是因为神经网络学习算法有了质的飞跃。相关技术已经应用在Facebook的人脸识别软件，智能手机的私人助手应用，以及谷歌的自动驾驶汽车上面了。还有一个现实中的例子，根据《自然》杂志上最近刊登的一项研究成果，一个人工神经模拟网络学习玩儿雅达利公司的视频游戏，结果玩儿的竟然比人类还要好，这也引起了业界震动。“如果这发生在一个刚出生的孩子身上，你会认为，这是与生俱来的。”Russell说到。 今年，在德克萨斯州圣安东尼奥市举办的美国物理学会2015年会上，Russell接受了Quanta Magazine的采访，并谈论了智能本质和人工智能安全的巨大挑战。你认为，人工智能的目标就是要能证明它能符合人类价值观，这意味着什么？这么说真有点儿气人呐，这里把两件事情放在在了一起，一个是要“能证明”，另一个是“人类价值观”，它们貌似就是非常矛盾的。人类价值观本身就多少存在一些神秘，从某种程度上，我们的价值观会在行为上有所表现，你可能希望证明机器也能做出绝大多数类似的行为吧。或许，机器会有一些零碎的东西无法理解，而实际上，就连人类自己有时都不太认可彼此。不过，只要机器能够获得基本权利，你可能就会发现它们其实并不是非常有害的。你会如何着手实现这些？这个问题其实就是我现在的工作：机器需要在什么地方拥有一些近似于价值观的东西呢？重要的是，这些价值观必须是人类希望他们拥有的。我认为答案就是一种名叫“逆向增强学习”的技术。普通的增强学习是一种过程，你会根据自己的表现得到一定的奖励和惩罚，你的目标就是要识别出一些能让你获得最多奖励的行为。这就是【雅达利游戏公司】DQN系统正在做的事情；它给每个游戏分数，而这套系统的目标，就是要让分数变得越来越大。逆向增强学习恰恰与之相反，你会发现一些行为，然后你需要尝试搞清楚这种行为尝试最大化的那个分数是多少。举个例子，你的家用机器人看到你早上从床上爬起来，然后把一些褐色的玩意儿放进一台噪音很大的机器里磨碎，然后再把一些蒸汽、热水、牛奶和这个液体混合在一起，一饮而尽之后，精神就会变得非常好。此时，逆向增强学习技术就需要学习，这其实就是人类在清晨价值功能的一部分，因为他们需要喝咖啡。关于人类行为和行为态度，在书本、电影、已经互联网之外，其实存在着大量信息。因此，当涉及到人类价值时，机器需要学习的资源是非常庞大的，比如谁赢了比赛金牌，谁去坐牢，以及为什么会这样。您是怎么进入到人工智能这一领域里的？当我还在学习读书的时候，总体来说，人工智能还不是一种正式的学术科目。但是当时我所在的是伦敦的一家公立寄宿学校，位于圣保罗，所以我的时间没有花在打英式橄榄球上，相反，在附近的一所高校里，我学习了计算机科学A-level课程。我当时为A-level课程准备了一个项目，就是编了一个程序教自己下井字棋，或是一字棋。当时我在那里并不受到人们欢迎，因为我总是一连几个小时霸占着学校里的计算机。第二年，我写了一个国际象棋程序，同时也获得了帝国理工大学教授的许可，可以使用他们学校里的大型计算机。搞清楚计算机如何学习下棋真的太有意思了，我学到了很多今后会在书本上学到的东西。不过怎么说呢，当时我还只是把这个当做是一个爱好；因为当时我最感兴趣的学科专业是物理。我在牛津大学学习了物理学，之后当我申请读研究生的时