北大《最优化》电子教案-1_最优化概述.pdf

最最最优优优化化化 ：：：简简简介介介 文文文再再再文文文 北北北京京京大大大学学学北北北京京京国国国际际际数数数学学学研研研 究究究中中中心心心 教教教材材材 《《《最最最优优优化化化 ：：：建建建模模模 、、、算算算法法法与与与理理理论论论》》》 配配配套套套 电电电子子子教教教案案案 /~wenzw/optbook.html 致致致谢谢谢 ：：：本本本教教教案案案由由由邓邓邓展展展望望望协协协助助助准准准备备备 提纲 1 最优化 问题概括 2 实例 ：稀疏优化 3 实例 ：低秩矩阵恢复 4 实例 ：深度学习 5 最优化基本概念 2/53 最优化 问题的一般形式 最优化 问题一般可以描述为 f x (1) s.t. x x x x x T n 是决决决策策策变变变量量量 1 2 n f n 是 目目目标标标 函函函数数数 n 是约约约束束束集集集合合合或可可可行行行域域域 ，可行域 包含的点称为可可可行行行解解解或可可可 行行行 点点点．记号 s.t. 是“subject to”的缩写，专指约束条件 ． 当 n 时，问题(1) 称为无约束优化 问题 ． 集合 通常可以由约束函数c x n i 1 2 m l 表达 i 为如下具体形式 ： x n c x 0 i 1 2 m i c x 0 i m 1 m 2 m l i 3/53 最优化 问题的一般形式 在所有满足约束条件的决策变量中，使 目标 函数取最小值的变 量x 称为优化 问题(1) 的最优解 ，即对任意x 都有 f x f x 如果求解在约束集合 上 目标 函数f x 的最大值 ，则问题(1) 的“”应相应地替换为“” ． 注意到在 集合 上，函数f 的最小 （最大）值不一定存在 ，但是 其下 （上）确界“ f ( f )” 总是存在的 ．因此 ，当目标 函数的 最小(最大）值不存在 时，我们便 关心其下 （上）确界 ，即将 问 题(1) 中的“()” 改为“ ()” ． 为了叙述简便 ，问题(1) 中x 为n 空间中的向量 ．实际上，根据具 体应用和 需求，x 还可以是矩阵 、多维数组或 量等. 4/53 最优化 问题的类型 最优化 问题的具体形式非常丰富，可以按照 目标 函数 、约束函数以及 解的性