张薇最优化方法复习题含答案.doc

附录5 《最优化方法》复习题 1、设是对称矩阵，，求在任意点处的梯度和Hesse矩阵． 解 ． 2、设，其中二阶可导，，试求． 解 ． 3、设方向是函数在点处的下降方向，令 ， 其中为单位矩阵，证明方向也是函数在点处的下降方向． 证明　由于方向是函数在点处的下降方向，因此，从而 ， 所以，方向是函数在点处的下降方向． 4、是凸集的充分必要条件是的一切凸组合都属于． 证明　充分性显然．下证必要性．设是凸集，对用归纳法证明．当时，由凸集的定义知结论成立，下面考虑时的情形．令， 其中，且．不妨设（不然，结论成立），记，有， 又， 则由归纳假设知，，而，且是凸集，故． 5、设为非空开凸集，在上可微，证明：为上的凸函数的充要条件是． 证明　必要性．设是上的凸函数，则及，有 ， 于是 ， 因为开集，在上可微，故令，得 ，即． 充分性．若有， 则，取，从而 ，， 将上述两式分别乘以和后，相加得 ， 所以为凸函数． 6、证明：凸规划的任意局部最优解必是全局最优解． 证明 用反证法．设为凸规划问题的局部最优解，即存在的某个邻域，使．若不是全局最优解，则存在，使．由于为上的凸函数，因此 ，有 ． 当充分接近1时，可使，于是，矛盾．从而是全局最优解． 7、设为非空凸集，是具有一阶连续偏导数的凸函数，证明：是问题的最优解的充要条件是：． 证明 必要性．若为问题的最优解．反设存在，使得 ，则是函数在点处的下降方向，这与为问题的最优解矛盾．故． 充分性．若．反设存在，使得． ， 因为凸集，在上可微，故令，得 ，这与已知条件矛盾，故是问题的最优解． 8、设函数具有二阶连续偏导数，是的极小点的第次近似，利用在点处的二阶Taylor展开式推导Newton法的迭代公式为 ． 证明　由于具有二阶连续偏导数，故 ． 且是对称矩阵，因此是二次函数．为求的极小点，可令，即，若正定，则上式解出的的平稳点就是的极小点，以它作为的极小点的第次近似，记为，即，这就得到了Newton法的迭代公式. 9、叙述常用优化算法的迭代公式． （1）0.618法的迭代公式： （2）Fibonacci法的迭代公式：． （3）Newton一维搜索法的迭代公式： ． （4）最速下降法用于问题的迭代公式： （5）Newton法的迭代公式：． （6）共轭方向法用于问题的迭代公式： ． 10、已知线性规划： （1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值． 解 （1）引进变量，将给定的线性规划问题化为标准形式： 3 1 1 1 0 0 60 1 -2 2 0 1 0 10 1 1* -1 0 0 1 20 -2 1 -1 0 0 0 0 2 0 2 1 0 -1 40 3 0 0 0 1 2 50 1 1 -1 0 0 1 20 -3 0 0 0 0 -1 -20 所给问题的最优解为，最优值为． （2）所给问题的对偶问题为： （1） （3）将上述问题化成如下等价问题： 引进变量，将上述问题化为标准形式： （2） -3 -1 -1 1 0 0 2 -1 2 -1* 0 1 0 -1 -1 -2 1 0 0 1 1 -60 -10 -20 0 0 0 0 -2 -3 0 1 -1 0 3 1 -2 1 0 1 0 1 -2 0 0 0 1 1 0 -40 -50 0 0 -20 0 20 问题（2）的最优解为，最优值为（最小值）． 问题（1）的最优解为，最优值为（最大值）． 11、用0.618法求解 ，要求缩短后的区间长度不超过0.2，初始区间取． 解 第一次迭代： 取． 确定最初试探点分别为 ，． 求目标函数值：，． 比较目标函数值：． 比较． 第二次迭代： ． ． ． 第三次迭代： ． ． ． 第四次迭代： ． ． ． 第五次迭代： ． ． ． 第六次迭代： ． ． ． 第七次迭代： ． ． ． 第八次迭代： ． ． ． 第九次迭代： ． ． ． 故． 12、用最速下降法求解 ，取，迭代两次． 解　， 将写成的形式，则． 第一次迭代： ． 第二次迭代： ． 13、用FR共轭梯度法求解 ，取，迭代两次．若给定判定是否还需进行迭代计算． 解 ， 再写成，，． 第一次迭代： ，令， 从出发，沿进行一维搜索，即求的最优解，得 ． 第一次迭代： ．， ． 从出发，沿进行一维搜索，即求 的最优解，得 ． 此时 ． 得问题的最优解为，无需再进行迭代计算． 15、用Powell法求解，取，初始搜索方向组，给定允许误差（迭代两