程序员进阶攻略：40讲局部优如何逃离.pdfVIP

40讲局部最优：如何逃离

之前看过⼀些关于算法⽅⾯的书，提到了⼀些最优化问题。最优化问题在现实中⾮常常⻅，⽐如⼯程设计中，怎样选择设计参

数，使得设计⽅案能以尽量低的成本预算满⾜设计要求。⽽近年来热⻔的机器学习建模也是⼀个最优化问题，基于⼀组已知的

数据去构建⼀个模型，让这个模型去适配未来未知的数据达到最优，然后求解关于这个模型的参数。

在求解最优参数的算法中，很多都有⼀个，就是容易达到⼀种局部最优点，即：参数的选择尝试收敛到了⼀⼩块范围内，

无论再怎么尝试变化都没法取得更优的结果。⽽从全局来看，这并不是最优的选择，但算法此时就进⼊了⼀种尝试的徘徊状

态，这就是局部最优点，但算法并不知道这到底是不是全局最优的。

对于我们这些⾃诩智能的⼈，在成⻓的，其实也经常陷⼊这样的成⻓局部最优点。

爬山

关于成⻓最形象的类⽐便是爬⼭，但爬到⼭顶的路并不总是向上的。

我⻓居，每过⼀阵就会去爬⼀回附近的⻘城⼭。像⻘城⼭这种著名景区的⼭，总有很多路标告诉你，沿着这条路⼀直

走，你就能到达⼭顶。即使这条路有时会向下走，让你产生下⼭的感觉，但你也不会动摇，因为路标已经告诉你了，⼭顶就在

前⽅，那⾥才是你的⽬的地。虽然成⻓这⼀路就像爬⼭，成⻓的感觉也和爬⼭相似，但不同的是，成⻓的并没有清晰

的路标告诉你⼭顶在哪⾥。

有时你很幸运地爬上了⼀个⾼点，你并不知道这个⾼点是否就是⼭顶了，因为再往前走，⽆论哪个⽅向的路都是向下的，你会

心下疑惑：这是要下⼭了吗？

即便你明确知道了这个⾼点便是此⼭的⼭顶，有时也会遗憾地发现原来这⼭只有这么⾼啊。就像⻘城⼭名气虽大，但⼭并不

⾼，海拔只有1200多⽶。你站在⼭顶，虽然是此⼭的最⾼点，但你知道这不过你成⻓的局部最优点，继续前⾏，则不可

避免地先要下⼭。

爬⼭的全局最优点，应该是珠峰顶，但不是所有⼈都能爬得上去的。每个⼈都有⾃⼰期望的⼀个⾼度，⽐如我登⾼爬⼭是想看

40Talkingaboutlocaloptimality:

howtoescape

Ihavereadsomebooksonalgorithmsbeforeandmentionedsomeoptimizationproblems.Optimizationproblemsareverycommoninreality,suchas

howtochoosedesignparametersinengineeringdesignsothatthedesignsolutioncanmeetthedesignrequirementswiththelowestpossiblecost

budget.Themachinelearningmodelingthathasbeenpopularinrecentyearsisalsoanoptimizationproblem.Itistobuildamodelbasedonasetof

knowndata,letthemodeladapttofutureunknowndatatoachieveoptimality,andthensolvetheparametersofthemodel.

Amongthealgorithmsforsolvingoptimalparameters,manyhaveaflaw,thatis,itiseasytoreachalocaloptimalpoint,thatis,theparameterselection

attemptsconvergetoasmallrange,andnomatterhowmuchchangesaretried,noterresultscanbeachieved.Fromaglobalperspective,thisisnot

theoptimalchoice,butthealgorithmhasenteredatentativewanderingstateatth