如何控制人工智能（4）.docVIP

如何控制人工智能（4）

AndSteveandIenvisionthatsuchproofcheckersgetbuiltintoallourcomputehardware,soitjustbecomesimpossibletorunveryunsafecode.

史蒂夫和我设想这样的校验器会内置于我们所有的计算机硬件中，因此绝无可能运行非常不安全的代码。

WhatiftheAI,though,isntabletowritethatAItoolforyou?

但是，如果AI无法为你编写那个AI工具呢？

Thentheresanotherpossibility.

那就还有另一种可能性。

YoutrainanAItofirstjustlearntodowhatyouwantandthenyouuseadifferentAItoextractoutthelearnedalgorithmandknowledgeforyou,likeanAIneuroscientist.

你训练AI先学会做你想做的事，然后再换一个AI为你提取出所学的算法和知识，就像一个AI神经科学家。

Thisisinthespiritofthefieldofmechanisticinterpretability,whichismakingreallyimpressiverapidprogress.

这就是机械可解释性领域的精髓，该领域正在取得惊艳的快速进步。

Provablysafesystemsareclearlynotimpossible.

可证明安全的系统显然不是不可能的。

Letslookatasimpleexampleofwherewefirstmachine-learnanalgorithmfromdataandthendistillitoutintheformofcodethatprovablymeetsspec,OK?

我们来看一个简单的例子，首先，基于数据，用计算机学习一个算法，然后以可证明符合规范的代码形式提炼出算法。

Letsdoitwithanalgorithmthatyouprobablylearnedinfirstgrade,addition,whereyouloopoverthedigitsfromrighttoleft,andsometimesyoudoacarry.

我们就拿你一年级或许就学会的算法为例，加法，你从右到左遍历数位，有时还会进位。

Welldoitinbinary,asifyouwerecountingontwofingersinsteadoften.

我们用二进制来做，如同用两根手指，而不是十个手指数数。

Andwefirsttrainarecurrentneuralnetwork,nevermindthedetails,tonailthetask.

我们训练了一个循环神经网络，不用管细节，来完成这个任务。

Sonowyouhavethisalgorithmthatyoudontunderstandhowitworksinablackboxdefinedbyabunchoftablesofnumbersthatwe,innerdspeak,callparameters.

你现在有了这个算法，你也不知道它在黑箱中是怎么运作的，黑箱由一大堆数字定义，用“技术宅”的话来说，就是“参数”。

ThenweuseanAItoolwebuilttoautomaticallydistilloutfromthisthelearnedalgorithmintheformofaPythonprogram.

然后，我们用构建的AI工具以Python程序的形式自动从中提炼出所学算法。

AndthenweusetheformalverificationtoolknownasDaphnetoprovethatthisprogramcorrectlyaddsupanynumbers,notjustthenumbersthatwereinyourtrainingdata.

然后，我们使用名为Daphne的形式验证工具证明该