哈工大-优化算法.docxVIP

数学模型是根据具体要求和条件，对实际问题的数学描述和概括。一方面希望建立一个尽可能完善的数学模型，以求精确的表达实际问题，得到满意的设计结果；另一方面有要求建立的数学模型尽可能简单，以方便计算求解。数学模型一般由设计变量、目标函数和约束条件三部分组成，写成向量形式为：算法的收敛速度：对于与迭代次数无关的常数，如果存在使下式成立：当时，称算法具有线性收敛性；当时，称算法具有超线性收敛性；当时，称算法具有二次收敛性常用终止准则：点距准则：值差准则：梯度准则：梯度定义：矩阵泰勒展开（取三项）其中的二阶导数矩阵称为黑塞（Hessian）矩阵，记作：正定二次函数的性质：等值线是一组同心椭圆，椭圆中心就是二次函数的极小点负定矩阵：奇数阶子式小于0，偶数阶子式大于0确定初始区间；若，则极小点位于点右侧若，则极小点位于点左侧若，则极小点位于之间一维搜索黄金分割法：斐波那契法（Fibonacci）：区间长度确定值：终止准则：，即时二次插值法：无约束最优化方法梯度法（最速下降法）：特点：，即相邻两次迭代点的梯度彼此正交，越接近极小点，阶梯越小，前进速度越慢。因此从局部看下降较快，从全局看下降较慢。基本牛顿法：阻尼牛顿法：拟牛顿法（变尺度法）：坐标变换：引入变换矩阵，并要求，得迭代算法（称为变尺度矩阵，称为校正矩阵）：因的计算不同而有不同的算法，其中Rank One Correction:Rand Tw