4.1凸优化初步.pptVIP

凸优化与概率初步 邹博 2014年10月19日 历史遗留问题 Ax的偏导 跳表查询时间复杂度下限 EM中参数θ是未知的确定量 EM的推导 将观测变量记做Y，待估计参数记做θ(π，p，q) P(y|θ)=Σz P(y,z|θ)= ΣzP(z|θ)P(y|z, θ) =P(z=0|θ)P(y|z=0, θ)+P(z=1|θ)P(y|z=1, θ) =πpy(1-p)1-y+ (1-π)qy(1-q)1-y 应用极大似然估计 P(Y|θ)=Π πpyi(1-p)1-yi+ (1-π)qyi(1-q)1-yi 本次目标 概率论中，掌握各种分布的性质 了解指数族分布 引出充分统计量和广义线性模型GLM的概念 了解凸集和凸优化的一般过程和概念 理解“凸优化”的四个步骤 凸集 凸函数 凸优化 对偶问题 重点：用凸优化的思想解释最小二乘问题 为支持向量机SVM提供理论保证 仿射集(Affine set) 直线 y=θx1 + (1-θ)x2, θ∈R 线段 y=θx1 + (1-θ)x2, θ∈[0,1] 定义：过集合C内任意两点的直线均在集合C内，则称集合C为仿射集。 仿射集的例子：直线、平面、超平面 超平面：Ax=b 仿射包 仿射包：包含集合C的最小仿射集。 仿射维数：仿射包的维数。 三角形的仿射维数为2 线段的仿射维数为1 球的仿射维数为3 仿射包 凸集 集合C内任意两点间的线段均在集合C内，则称集合C为凸集。 仿射集和凸集的关系 因为仿射集的条件比凸集的条件强，所以，仿射集必然是凸集。 凸集 凸包 包含集合C的最下凸集叫做集合C的凸包。 凸包 锥(Cones) 锥 锥包 半正定矩阵集 试证明：n阶半正定矩阵集为凸锥。 考察半正定矩阵的定义 超平面和半空间 超平面hyperplane 半空间halfspace 超平面和半空间 欧式球和椭球 欧式球 椭球 范数球和范数锥（欧式空间的推广） 范数 范数球 范数锥 多面体 多面体 保持凸性的运算 集合交运算 仿射变换 透视函数变换 线性分式函数变换 分割超平面 设C和D为两不相交的凸集，则存在超平面P，P可以将C和D分离。 支撑超平面 设集合C，x0为C边界上的点。若存在a≠0，满足对任意x∈C，都有 成立，则称超平面 为集合C在点x0处的支撑超平面。 凸集边界上任意一点，均存在支撑超平面。 若一个闭的非中空集合，在边界上的任意一点存在支撑超平面，则该集合为凸集。 凸函数 若函数f的定义域domf为凸集，且满足 一阶可微 若函数f的定义域domf为开集，且函数f一阶可微，则函数f为凸函数当前仅当dom为凸集，且 如何证明？ 考察割线 二阶可微 若函数f的定义域domf为开集，且函数f二阶可微，则函数f为凸函数当前仅当dom为凸集，且 凸函数举例 保持函数凸性的算子 凸函数的非负加权和 凸函数与放射变换的复合 凸函数的逐点最大值 保持函数凸性的算子 复合运算 最小值算子 透视算子 凸优化 优化问题的基本形式 优化问题的基本形式 优化问题的域 可行点(解)（feasible） x∈D，且满足约束条件 可行域（可解集） 所有可行点的集合 最优化值 最优化解 局部最优问题 优化问题的等价问题 若 则原优化问题与以下优化问题等价 优化问题的等价问题 设函数φ是一一对应 且 则原优化问题与以下优化问题等价 优化问题的等价问题 设ψ0为严格单调递增函数 ψ1,… ,ψm满足 当且仅当u≤0 ω1,…,ωp满足 当且仅当u = 0 则原优化问题与以下优化问题等价 优化问题的等价问题 原优化问题与以下优化问题等价 s：松弛变量 优化问题的等价问题 设 满足等式 , j=1，…p成立，当且仅当 则原优化问题与以下优化问题等价 优化问题的等价问题 原优化问题与以下优化问题等价 凸优化问题的基本形式 其中，fi(x)为凸函数，hj(x)为仿射函数 凸优化问题的重要性质 1、凸优化问题的可行域为凸集 2、凸优化问题的局部最优解即为全局最优解 思考：为什么？ 例 凸优化问题最优解的微分条件 定理：设X为凸优化问题的可行域，f0(x)可微。则x为最优解当且仅当下式成立。 如何解释？ 特殊情况：非约束凸优化问题中，f0(x)可微。则x*为最优解当且仅当下式成立。 凸优化问题的等价形式 如何凸优化问题仅有等式约束 则x为最优解当且仅当x∈X，且存在向量v满足 Lagrange乘子法 凸优化问题的