庄老师凸优化课件.pptVIP

实验设计线性测量问题最大似然估计值：独立同分布高斯白噪声，服从分布。估计误差均值为0，方差为 信赖椭圆为实验设计实验设计的目标：寻找，使得误差的方差矩阵最小。向量优化形式：为整数问题，求解较困难。实验设计当时，令近似为一连续实数，原问题可松弛转换为连续实数优化：凸优化理论与应用第7章无约束优化无约束优化问题问题描述：无约束问题求解的两种方法：迭代逼近：求解梯度方程：为凸函数，且二次可微。例 梯度方程二次优化：例 其中 解得凸优化问题的对偶求解 存在唯一解。若为原始问题的可行解，则即为原始问题的最优解；若不是原始问题的可行解，则原始问题不存在最优解。设原始优化问题与对偶问题具有强对偶性，且为对偶问题的最优解。存在唯一的最小解，即扰动问题扰动问题：当时即为原始问题。若为正，则第个不等式约束被放宽；若为负，则第个不等式约束被收紧。记为扰动问题的最优解。若扰动问题无最优解，则记灵敏度分析设对偶问题存在最优解，且与原始问题具有强对偶性，若非干扰问题的最优对偶解为，则有若在处可微，则定义（弱选择性）：若两个不等式（等式）系统，至多有一个可解，则称这两个系统具有弱选择性。选择定理对偶不等式组设原始问题的约束条件：对偶问题原始问题的约束条件与对偶不等式组具有弱选择性。选择定理对偶不等式组设原始问题的严格不等式约束条件：原始问题的严格不等式约束条件与对偶不等式组具有弱选择性。定义（强选择性）：若两个不等式（等式）系统，恰有一个可解，则称这两个系统具有强选择性。选择定理对偶不等式组设原始问题为凸优化问题，其严格不等式约束条件为：若存在，满足，则上述两不等式约束系统具有强选择性。选择定理对偶不等式组设原始问题为凸优化问题，其不等式约束条件为： 则原始问题的不等式约束条件与对偶不等式组具有强选择性。若存在，满足，且下述优化问题存在最优解罚函数的例范数：死区线性罚函数：对数门限罚函数鲁棒的罚函数若大到一定程度时，罚函数为的线性函数，则称该罚函数为鲁棒的罚函数。Huber罚函数最小范数问题问题描述： 其中为方程组的解。可以消去等式约束将其转换为范数逼近问题：最小范数问题最小平方范数问题：范数，最优解满足：最小罚问题：绝对值和最小问题：范数，原问题可转换为LP问题：正则逼近二元矢量优化问题描述：正则化问题： 最优解描述了两分量的一条折中曲线。正则逼近Tikhonov正则化问题： 为二次优化问题： 最优解的形式：正则逼近Tikhonov光滑正则化问题： 为二阶差分算子：信号复原已知加噪信号： 信号复原问题的描述： 函数为正则函数或光滑函数。信号复原信号复原信号复原鲁棒逼近问题描述：随机鲁棒逼近：为随机变量，逼近问题转换为最小化期望例： 随机鲁棒逼近为： 转换为：随机鲁棒逼近为随机变量： 最小平方随机鲁棒逼近为： 转换为： 其中最坏情况鲁棒逼近考虑，最坏情况鲁棒逼近为：例： 随机鲁棒逼近为： 转换为：凸优化理论与应用第6章统计估计概率分布的参数估计随机变量的概率密度为，其中为概率分布的参数，且参数未知。参数估计的目标就是通过一些已知样本估计获得参数的最优近似值。问题描述为样本观测值；为对数似然函数；若似然函数为凹函数，则优化问题为凸优化问题。具有独立同分布噪声的线性测量线性测量模型：为观测值或测量值；为未知参数向量；独立同分布噪声，其概率密度为。似然函数为最大似然估计问题为：例高