数据与算法精品教学（陈健生）14 优化.pdfVIP

数据与算法 2014-2015年秋季学期 陈健生 jschenthu@tsinghua.edu.cn 清华大学电子工程系 1 Previously …  拟合：正规方程法、QR分解  插值：多项式插值 2 《 科 学 计 算 导 优化 论 》 6.1 6.2 目标函数 6.3 6.4 约束条件 6.5 凸优化 牛顿法 3 • 优化问题 • 优化条件 • 一维优化 • 多维优化 4  优化问题 ◦ 优化不仅是人的选择，自然界中很多过程的都可以 归结为最大化(或最小化)某个物理量； 优 化 势能 熵最大 问 最小 题 ◦ 优化问题往往呈现对偶(duality)性：  桥梁：限制重量下的最大强度 vs 限制强度下的最小重量；  食谱：限制营养成分时最便宜 vs 限制价格时最营养. 5  优化问题 ◦ 给定函数: →，以及一个集合⊆ ，优化 问题寻找 ∈ ，使得对任意∈ ，满足∗ 优 ∗，同时称 是函数在集合上的最小∗ 值点； 化 问 ◦ 显然，函数的最小值点即是函数的最大值点； 题 ◦ 函数称为目标函数(objective function)， 一般假设是可微的； ◦ 集合通常由一系列的等式和不等式定义，称为约 束条件 (constraint)； 中的点称为可行点 (feasible points)；如果 则称优化问 题无约束. 6  优化问题 ◦ 一般的，一个连续优化问题表述为下面的形式： min 0 0 优 化 问 ◦ 如果函数,,均是线性的，称优化问题为线性规 题