李腾-线搜索-最速下降-最优化问题第一讲.pptx

最优化问题 5队13级 李腾 最优化问题的数据模型 无约束最优化问题的算法框架 无约束最优化问题——线搜索技术 无约束最优化问题——最速下降法 1.最优化问题的数据模型 min 𝑓(𝑥), s.t. 𝑥 ∈ 𝐾, (1.1) 这里，𝐾 是某个给定的集合(称为可行集或可行域)， 𝑓(𝑥) 是定义在集合𝐾 上的实值函数。 此外，在模型(1.1) 中，𝑥 通常称为决策变量。 1.最优化问题的数据模型 min 𝑓(𝑥) s.t. ℎ𝑖(𝑥) = 0, 𝑖 = 1, ・ ・ ・ , 𝑙, 𝑔𝑖(𝑥) ≥ 0, 𝑖 = 1, ・ ・ ・ , 𝑚, 其中，ℎ𝑖(𝑥)、𝑔𝑖(𝑥)都是定义在R𝑛 上连续可微的多元实值函数，且至少有一个是非线性的。 记𝐸 = {𝑖 : ℎ𝑖(𝑥) = 0}，𝐼 = {𝑖 : 𝑔𝑖(𝑥) ≥ 0}。 若指标集𝐸 ∪ 𝐼 = ∅，称之为无约束优化问题。 2.无约束最优化问题的算法框架 在数值优化中，一般采用迭代法求解无约束优化问题 min 𝑓(𝑥) 的极小值点。 2.无约束最优化问题的算法框架 迭代法的基本思想： 给定一个初始点𝑥0，按照某一迭代规则产生一个迭代序列{𝑥𝑘}。 若该序列是有限的，则最后一个点就是问题的极小点； 若序列是无穷点列时，它有极限点且这个极限点即为问题的极小点。 2.无约束最优化问题的算法框架 步0 给定初始化参数及初始迭代点𝑥0. 置𝑘 := 0. 步1 若𝑥𝑘 满足某种终止准则, 停止迭代, 以𝑥𝑘 作为近似极小点. 步2 通过求解𝑥𝑘 处的某个子问题确定下降方向𝑑𝑘. 步3 通过某种搜索方式确定步长因子𝛼𝑘, 使得𝑓(𝑥𝑘+𝛼𝑘*𝑑𝑘) 𝑓(𝑥𝑘). 步4 令𝑥(𝑘+1) := 𝑥𝑘 + 𝛼𝑘*𝑑𝑘, 𝑘 := 𝑘 + 1, 转步1. 3.无约束最优化问题——线搜索技术 在无约束优化问题迭代算法的一般框架中，其中有一个迭代步： 步3 通过某种搜索方式确定步长因子𝛼𝑘，使得𝑓(𝑥𝑘+𝛼𝑘*𝑑𝑘) 𝑓(𝑥𝑘)。 令 𝜑(𝛼) = 𝑓(𝑥𝑘 + 𝛼*𝑑𝑘)，(2.2) 这样，搜索式(2.2) 等价于求步长𝛼𝑘 使得𝜑(𝛼𝑘) 𝜑(0)。 3. 线搜索技术——精确线搜索 精确线搜索, 指求𝛼𝑘 使目标函数𝑓 沿方向𝑑𝑘 达到极小， 即 𝑓(𝑥𝑘 + 𝛼𝑘*𝑑𝑘) = min (𝛼0)𝑓(𝑥𝑘 + 𝛼*𝑑𝑘)。 二种精确线搜索方法 黄金分割法（不用导数） 抛物线法（用导数） 黄金分割法 基本思想：通过试探点函数值的比较，使包含极小值的搜索区间不断减小，该方法仅需要计算函数值，适用范围广，使用方便。 设𝜑(𝑠) = 𝑓(𝑥𝑘 + 𝑠*𝑑𝑘)，其中𝜑(𝑠)是搜索区间[𝑎0, 𝑏0] 上的单峰函数，在第𝑖 次迭代时搜索区间为[𝑎𝑖, 𝑏𝑖]. 取两个试探点为𝑝𝑖, 𝑞𝑖 ∈ [𝑎𝑖, 𝑏𝑖] 且𝑝𝑖 𝑞𝑖. 计算𝜑(𝑝𝑖) 和𝜑(𝑞𝑖). 根据单峰函数的性质, 可能会出现如下两种情形之一: (1) 若𝜑(𝑝𝑖) ≤ 𝜑(𝑞𝑖), 则令𝑎(𝑖+1) := 𝑎𝑖, 𝑏𝑖+1 := 𝑞𝑖; (2) 若𝜑(𝑝𝑖) 𝜑(𝑞𝑖), 则令𝑎(𝑖+1) := 𝑝𝑖, 𝑏𝑖+1 := 𝑏𝑖. 我们要求两个试探点𝑝𝑖 和𝑞𝑖 满足下述两个条件: (a) [𝑎𝑖, 𝑞𝑖] 与[𝑝𝑖, 𝑏𝑖] 的长度相同, 即𝑏𝑖 − 𝑝𝑖 = 𝑞𝑖 − 𝑎𝑖; (b) 区间长度的缩短率相同, 即𝑏(𝑖+1) − 𝑎(𝑖+1) = 𝑡(𝑏𝑖 − 𝑎𝑖). 从而可得 𝑝𝑖 = 𝑎𝑖 + (1 − 𝑡)(𝑏𝑖 − 𝑎𝑖), 𝑞𝑖 = 𝑎𝑖 + 𝑡(𝑏𝑖 − 𝑎𝑖). (2.5) 黄金分割法 黄金分割法算法 步0 确定初始搜索区间[𝑎0, 𝑏0] 和容许误差𝜀 0. 计算初始试探点 𝑝0 = 𝑎0 + 0.382(𝑏0 − 𝑎0), 𝑞0 = 𝑎0 + 0.618(𝑏0 − 𝑎0)及相应的函数值𝜑(𝑝0), 𝜑(𝑞0). 置𝑖 := 0. 步1 若𝜑(𝑝𝑖) ≤ 𝜑(𝑞𝑖), 转步2; 否则, 转步3. 步2 计算左试探点. 若|𝑞𝑖 − 𝑎𝑖| ≤ 𝜀, 停算, 输出𝑝𝑖. 否则, 令 𝑎(𝑖+1) := 𝑎𝑖, 𝑏(𝑖+1) := 𝑞𝑖, 𝜑(𝑞(𝑖+1)) := 𝜑(𝑝𝑖), 𝑞(𝑖+1) := 𝑝𝑖, 𝑝(𝑖+1) := 𝑎(𝑖+1) + 0.382(𝑏(𝑖+1) − 𝑎(𝑖+1)). 计算𝜑(𝑝(𝑖+1)), 𝑖 := 𝑖 + 1, 转步1. 步3 计算右试探点. 若|𝑏𝑖 − 𝑝𝑖| ≤ 𝜀, 停算, 输出𝑞𝑖. 否则, 令 𝑎(𝑖+1) := 𝑝𝑖, 𝑏(𝑖+1) := 𝑏𝑖, 𝜑(𝑝(𝑖+1)) := 𝜑(𝑞