AIoT智能物联网程序员数学基础：优化理论与方法.pdfVIP

1、最优化概念

1.1、最大值最小值

最优化问题就是求的极大值或者极小值

我们往往求极小值，在这里是优化变量，就是自变量，称为目标函数，可能还带有约束条件，有些优

化问题既有等式约束，又有不等式约束

满足这种约束条件，并且还在定义域之内的那些构成的集合叫可行域D。

1.2、局部极小值

函数在的邻域内存在，并且，那么为局部最小值点。

1.3、全局最小值

其实初中我们就学求极值的问题了，比如二次函数抛物线的顶点就是极大值或者极小值，高中我们也会有求

极值的题目，算一个非常复杂的函数的极值，借用初等数学一些的技巧来完成的。而真正的飞跃是发生在大

学里面，微积分这门课为求解极值了一个统一的方法，就是找它导数等于0的点，如果是多元函数的

话，我们说它的梯度等于0，我们去解方程组就可以了，在机器学习里面我们遇到的几乎所有的函数都是可

导的。光滑即可导

局部最小值，通过大量实践发现在高维度的优化问题中，局部最小值和全局最小值通常没有太大的区别，甚

至在有些情况下局部最小值有更好的归纳能力（泛化能力）。

2、求导与迭代求解

2.1、求导遇到的