第24讲 本讲纲要.pdfVIP

第24讲 本讲纲要 • 次梯度法 • 步长规则和收敛分析 ***************************************************************** • 考虑一个一般的凸问题 ，这里 是一个凸函数，并且 是一个闭凸集，有次梯度法 式中 是 在 上的一个次梯度， 是一个正步长，并且 表示在 上的投影. • 对于问题 的增量形式 从 开始，式中 是 在 上的次梯度. 假设和关键不等式 • 假设：（次梯度有界性） 对于某些标量 .（当 是多面体的时满足，如 在整数规划中一样）. • 关键引理：对于所有的 和 ， 式中 且 为有界性假设之中的那些. • 第一感觉：对于任一优于 的 ，如果 足够小，到 的距离会改进： 关键引理的证明 • 对于每个 和所有的 ，以及 对 求和，并化简， 步长规则 • 常数步长 －由关键引理，结合 ，如果 ， 则逼近最优解，即，如果 • 逐渐缩小步长 －逐渐逼近（一旦 足够小）。可以证明 • 动态步长 式中 或（更实际的） 的一 个估计： －如果 ，每次迭代都会逼近.如果 ，其趋向 于在最优解旁振荡.如果 ，其趋向于水平集 常数步长分析 • 命题：对于 ，我们有 式中 （在 的情况下，我们有 ） • 反证.令 使得 并且令 使得 对于所有足够大的 ，我们有 加上可得到 .对于 使用关 键引理，将得到一个矛盾。 对于常数步长的复杂性估计 • 对于任一 ，我们有 式中 • 根据矛盾。假设对于 关键引理中应用这个关系， 在 上求和得到 其它步长规则的收敛性 • （逐渐缩小的步长）：假设 那么， 如果最优解集合 是非空的且紧的， • （动态步长且 ）：如果 非空， 收敛到某个最 优解. 带估计的动态步长 • 估计方法： 并且 通过如下规则更新 这里 和 是固定的正常数且 并且 • 这里我们希望由 可以达到一个在目前最佳值上更小的目标 水平. • 我们可以证明 （或 ）.