《最优化方法课程复习考试》.docVIP

《最优化方法》复习提要 最优化问题与数学预备知识 §1. 1 模型 无约束最优化问题 ． 约束最优化问题（） 即 其中称为目标函数，称为决策变量，称为可行域， 称为约束条件． §1. 2 多元函数的梯度、Hesse矩阵及Taylor公式 定义 设．如果维向量，，有 ． 则称在点处可微，并称为在点处的微分． 如果在点处对于的各分量的偏导数 都存在，则称在点处一阶可导，并称向量 为在点处一阶导数或梯度． 定理1 设．如果在点处可微，则在点处梯度 存在，并且有． 定义 设．是给定的维非零向量，．如果 存在，则称此极限为在点沿方向的方向导数，记作． 定理2 设．如果在点处可微，则在点处沿任何非零方向的方向导数存在，且，其中． 定义 设是上的连续函数，．是维非零向量．如果，使得，有（）．则称为在点处的下降（上升）方向． 定理3 设，且在点处可微，如果非零向量，使得（）0，则是在点处的下降（上升）方向． 定义 设．如果在点处对于自变量的各分量的二阶偏导数都存在，则称函数在点处二阶可导，并称矩阵 为在点处的二阶导数矩阵或Hesse矩阵． 定义 设，记，如果 在点处对于自变量的各分量的偏导数 都存在，则称向量函数在点处是一阶可导的，并且称矩阵 为在点处的一阶导数矩阵或Jacobi矩阵，简记为． 例2 设，求在任意点处的梯度和Hesse矩阵． 解 设，则， 因，故