《最优化方法》复习题.docx

《最优化方法》复习题(含答案) 附录 5 《最优化方法》复习题 1、设 A ? Rn?n 是对称矩阵，b ? Rn , c ? R ，求 f (x) ? 的梯度和 Hesse 矩阵． 解 ?f (x) ? Ax ? b , ?2 f (x) ? A ． 1 xT Ax ? bT x ? c 在任意点 x 处 2 2、设? (t) ? f (x ? td ) ，其中 f : Rn ? R 二阶可导，x ? Rn , d ? Rn , t ? R ，试求? ?(t) ． 解 ??(t) ? ?f (x ? td ) T d , ? ?(t) ? d T ?2 f (x ? td ) d ． 3、设方向d ? Rn 是函数 f (x) 在点 x 处的下降方向，令 H ? I ? dd T ? ?f (x)?f (x)T ， d T ?f (x) ?f (x)T ?f (x) 其中 I 为单位矩阵，证明方向 p ? ?H ?f (x) 也是函数 f (x) 在点 x 处的下降方向． 证明 由于方向d 是函数 f (x) 在点 x 处的下降方向，因此?f (x)T d ? 0 ，从而 ?f (x)T p ? ??f (x)T H ?f (x) ? ??f (x)T (I ? dd T ? ?f (x)?f (x)T )?f (x) d T ?f (x) ?f (x)T ?f (x) ? ??f (x)T ?f (x) ? ?f (x)T d ? 0 ， 所以，方向 p 是函数 f (x) 在点 x 处的下降方向． 4、 S ? Rn是凸集的充分必要条件是 ?m ? 2, ?x , x ,L , x ? S , x , x ,L , x 的一切 凸组合都属于 S ． 1 2 m 1 2 m 证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当m ? 2 时， 由凸集的定义知结论成立，下面考虑 m ? k ?1时的情形．令 x ? ?k ?1 ? x ， i i i?1 其中 x i ? S , ? i ? 0, i ? 1, 2, L , k ?1，且?k ?1 ? i i ?1 ? 1．不妨设?  k ?1 ? 1（不然 x ? x k ?1 ? S ， 结论成立），记 y ? ?k ? 1 ? ?i x ，有 x ? (1? ? i k ?1 ) y ? ? k ?1  x ， k ?1 i?1 k ?1 ? 又1? ?i ? 0, i ? 1, 2, L , k , ?k k ?1 i?1 ? 1? ?i  k ?1 ? 1 ， 则由归纳假设知， y ? S ，而 x ? S ，且 S 是凸集，故 x ? S ． k ?1 5、设S ? Rn为非空开凸集， f : S ? R 在S 上可微，证明： f 为S 上的凸函数的 充要条件是 f (x 2 ) ? f (x 1 ) ? ?f (x 1 )T (x 2 ? x ), ?x , x 1 1 2 ? S ． 证明 必要性．设 f 是 S 上的凸函数，则?x , x 1 2 ? S 及? ?(0,1) ，有 f (?x 2 ? (1? ?)x 1 ) ? ? f (x 2 ) ? (1? ?) f ( x ) ， 1 f (x 于是 1 ? ?(x 2 ? x )) ? f (x ) ? 1 1 ? f (x 2 ) ? f (x ) ， 1 因S 为开集， f 在S 上可微，故令? ? 0?，得 ?f (x 1 )T (x 2 x ) ? f (x 1 2 ) ? f (x 1 ) ，即 f (x 2 ) ? f (x 1 ) ? ?f (x 1 )T (x 2 ? x ), ?x , x 1 1 2 ? S ． 充分性．若有 f (x 2 ) ? f (x 1 ) ? ?f (x 1 )T (x 2 ? x ), ?x , x 1 1 2 ? S ， 则?? ?[0,1] ，取 x ? ?x 1 ? (1? ?)x 2 ? S ，从而 f (x 1 ) ? f (x) ? ?f (x)T (x 1 x) ， f (x 2 ) ? f (x) ? ?f (x)T (x 2 ? x) ， 将上述两式分别乘以 ? 和1? ? 后，相加得 ? f (x 1 ) ? (1? ?) f (x 2 ) ? f (x) ? ?f (x)T (?x 1 ? (1? ?)x 2 x) ? f (x) ? f (?x 1 ? (1? ?)x ) ， 2 所以 f 为凸函数． 6、证明：凸规划 min f (x) 的任意局部最优解必是全局最优解． x?S 证明 用