机器学习数学基础之优化[2](重点知识) .pdfVIP

前方烧脑高能！这可能是我写过最多数学符号和解释的文章了，也参考了大量的书籍，博文，

知乎答案之后加上自己的理解总结的机器学习数学基础之优化（主要凸优化，对偶）理论了。

比较复杂，比较烧脑，一起学习：

仿射集,凸集和凸锥

超平面，半空间及凸集分离定理

不改变凸性的运算

凸函数及凸优化简述

无约束的优化，等式约束优化，不等式约束优化

线性规划中对偶理论

拉格朗日对偶理论

仿射集,凸集和凸锥

仿射集：对于一个集合，如果集合内的任意两点构成的直线仍在集合C内，则称集

合C为仿射集。仿射集就是包含该集合内任意两点的线性组合，即包含了所有经过该集合集中

任意两点的直线的集合。

比如：一维情况下可以类似理解为直线，但仿射集是一个更广意义的直线。

另外，如果集合C为仿射集，那么集合中的点，则

称为仿射集的仿射组合（affinecombination），其中，

。很明显，仿射集中某些点的仿射组合形成的点也在该仿射集内

部。仿射组合的定义有些类似线性空间的向量的线性组合。

仿射包:对于任意一个集合，集合间所有点的仿射组合称为集合C的仿射包，仿射

包是包含某些点构成的集合C的最小仿射集。如果任意仿射集S包含集合C，则集合C的仿射包

是集合S的子集。我们一般将仿射包记为：

凸集：实数域R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，

则称集合S为凸集，如下图所示：

从数学严格定义来说，设集合，若对于任意两点，及实数

都有：则称集合D为凸集。

另外，和仿射组合类似，我们定义凸集组合：

注意的是，仿射组合和凸集组合的区别在于θ的取值，也就是满足仿射组合定义的前提下，要

求。

凸包：对应的凸包（convexhull）则可记为：

从定义上来看，凸包肯定是凸集，它是包含集合C的最小凸集。从下图我们可以看出，左边第

一个图中的15个点的凸包为阴影包括的多边形，第二个图中肾型集合的凸包为直线封闭下的集

合。

凸集和仿射集的联系和区别：从定义我们可以看出，仿射集和凸集间的区别就在于凸集是线段

在集合中。仿射集要求的是集合中经过任意两点的直线上的任意点都在集合中。

注意：有人说凸集是仿射集的子集，但其实谁也不是谁的子集。确切的讲，包含所有仿射集

的集合是包含所有凸集的集合的子集，因为一个仿射集是一个凸集。凸集定义比仿射集的定

义更加苛刻，但是条件更加的苛刻不等于就是子集，不等于他们就是一类。比如，如果我们

要区分固态和气态，常温常压下二氧化碳就是气态，如果限定他的温度、压力，条件更加苛

刻，让其变成固态的干冰，我们还能说二氧化碳就是气态吗？我们能说固态是气态的子集

吗？不能，因为“类别(集合)是根据某些固定条件去定义的”，而不是靠“苛刻程度”去识

别的，所以我们有明确一下两个基础逻辑。

凸锥：锥体（cone）的定义为如果集合C中的任意点，，其中，，则

集合C称为锥。如果集合既是凸集又是锥体，我们就称该集合为凸锥（convexcone）。凸锥

的数学表达为：

直观上看，上式定义下的凸锥为顶点为原点，以和为边的扇形区。如下图所示，阴

影部分表示点和构成的凸锥，顶点对应：

凸锥中各点的线性组合我们称之为凸锥组合（coniccombination），某集合C的各点的凸锥

组合构成集合C的锥包（conichull），记为：

锥包：与仿射包和凸包类似，锥包也是包含集合C的最小凸锥集合。以下是两个锥包的实例，

阴影部分表示集合构成的锥包，当然，顶点位置不同，所表示出的锥包也各不相同：

上图中第一个图中的15个点的锥包为阴影部分的集合，对应的第二个图中肾型集合的凸锥集

合。

综合举例：

空集、单点和实数域的点集是仿射集，因此，也是凸集。

一条直线是仿射集，如果直线过原点，那么它