- 1、本文档共50页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
2半小时梳理凸优化
凸优化初步
七月算法 邹博
2015年3月31日
2/50
主要内容
凸集基本概念
凸集保凸运算
分割超平面
支撑超平面
凸函数基本概念
上境图
Jensen不等式
凸函数保凸运算
凸优化一般提法
对偶函数
鞍点解释
用对偶求解最小二乘问题
强对偶KKT条件
3/50
思考凸集和凸函数
y=x2是凸函数,函数图像上位于y=x2上方的区域构成凸集。
凸函数图像的上方区域,一定是凸集;
一个函数图像的上方区域为凸集,则该函数是凸函数。
稍后给出上述表述的形式化定义。
因此,学习凸优化,考察凸函数,先从凸集及其性质开始。
4/50
凸集
集合C内任意两点间的线段均在集合C内,则称集合C为凸集。
5/50
凸集
6/50
超平面和半空间
超平面hyperplane
半空间halfspace
7/50
超平面和半空间
8/50
多面体
多面体有限个半空间和超平面的交集。
仿射集(如超平面、直线)、射线、线段、半空间都是多面体。
多面体是凸集。
此外:有界的多面体有时称作多胞形(polytope)。
注:该定义略混乱,不同文献的含义不同。
9/50
多面体
10/50
保持凸性的运算
集合交运算
思考:如何证明?(提示:根据定义)
仿射变换
函数f=Ax+b的形式,称函数是仿射的:即线性函数加常数的形式
透视变换
投射变换(线性分式变换)
11/50
集合交运算:半空间的交
12/50
仿射变换
仿射变换
伸缩、平移、投影
若f是仿射变换,
若S为凸集,则f(S)为凸集;
若f(S)为凸集,则S为凸集。
13/50
透视变换
透视函数对向量进行伸缩(规范化),使得最后一维的分量为1并舍弃之。
透视的直观意义
小孔成像
14/50
透视变换的保凸性
凸集的透视变换仍然是凸集。
思考:反过来,若某集合的透视变换是凸集,这个集合一定是凸集吗?
15/50
投射函数(线性分式函数)
投射函数是透视函数和仿射函数的复合。
g为仿射函数:
定义f为线性分式函数
若c=0,d0,则f即为普通的仿射函数。
16/50
分割超平面
设C和D为两不相交的凸集,则存在超平面P,P可以将C和D分离。
注意上式中可以取等号:
所以:逆命题:“若两个凸集C和D的分割超平面存在,C和D不相交”为假命题。
加强条件:若两个凸集至少有一个是开集,那么当且仅当存在分割超平面,它们不相交。
17/50
分割超平面
18/50
分割超平面的构造
两个集合的距离,定义为两个集合间元素的最短距离。
做集合C和集合D最短线段的垂直平分线。
19/50
支撑超平面
设集合C,x0为C边界上的点。若存在a≠0,满足对任意x∈C,都有 成立,则称超平面 为集合C在点x0处的支撑超平面。
凸集边界上任意一点,均存在支撑超平面。
反之,若一个闭的非中空(内部点不为空)集合,在边界上的任意一点存在支撑超平面,则该集合为凸集。
20/50
思考
如何定义两个集合的“最优”分割超平面?
找到集合“边界”上的若干点,以这些点为“基础”计算超平面的方向;以两个集合边界上的这些点的平均作为超平面的“截距”
支持向量:support vector
若两个集合有部分相交,如何定义超平面,使得两个集合“尽量”分开?
注:上述“集合”不一定是凸集,可能是由若干离散点组成。若一组集合为(x,1),另一组集合为(x,2),则为机器学习中的分类问题。
21/50
凸函数
若函数f的定义域domf为凸集,且满足
22/50
一阶可微
若f一阶可微,则函数f为凸函数当前仅当f的定义域domf为凸集,且
23/50
进一步的思考
结合凸函数图像和支撑超平面理解该问题
对于凸函数,其一阶Taylor近似本质上是该函数的全局下估计。
反之,如果一个函数的一阶Taylor近似总是起全局下估计,则该函数是凸函数。
该不等式说明从一个函数的局部信息,可以得到一定程度的全局信息。
24/50
二阶可微
若函数f二阶可微,则函数f为凸函数当前仅当dom为凸集,且
若f是一元函数,上式表示二阶导大于等于0
若f是多元函数,上式表示二阶导Hessian矩阵半正定。
25/50
凸函数举例
26/50
上境图
函数f的图像定义为:
函数f的上境图(epigraph)定义为:
27/50
凸函数与凸集
一个函数是凸函数,当且仅当其上境图是凸集。
思考:如何证明?(提示:定义)
进一步,一个函数是凹函数,当且仅当其亚图(hypograph)是凸集。
28/50
Jensen不等式:若f是凸函数
基本Jensen不等式
若
则
若
则
29/50
Jensen不等式是几乎所有不等式的基础
利用f(E(x))≤E(f(x))
您可能关注的文档
- 22第二语言教学法主要流派(概括版).pptx
- 22腹膜腹膜腔.pptx
- 22节森林的开发与保护以亚马孙热带雨林为例.pptx
- 22茶叶.pptx
- 22视频和动画信息处理基础.pptx
- 22长度与时间的测量(第三课时).pptx
- 22纸张.pptx
- 231制取氧气.pptx
- 23地物的反射辐射.pptx
- 23城市化过程中产生的环境问题.pptx
- 2024年江西省寻乌县九上数学开学复习检测模拟试题【含答案】.doc
- 2024年江西省省宜春市袁州区数学九上开学学业水平测试模拟试题【含答案】.doc
- 《GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语》.pdf
- 中国国家标准 GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语.pdf
- GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- 《GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构》.pdf
- 中国国家标准 GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 中国国家标准 GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 《GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南》.pdf
文档评论(0)