最优化计算方法期末.docVIP

最优化计算方法期末

最优化计算方法是一门融合数学理论与工程实践的学科，其核心目标是在给定的约束条件下，寻找能使目标函数达到极值（最大值或最小值）的最优解。在期末复习阶段，系统梳理这门学科的核心知识体系、理解各类算法的原理与适用场景，并掌握其在实际问题中的应用，是取得良好成绩的关键。

一、最优化问题的数学建模

任何最优化问题的求解，都始于一个清晰、准确的数学模型。构建模型的过程，本质上是将现实问题中的决策变量、目标和约束条件进行数学抽象。

1.决策变量

决策变量是问题中可以由决策者控制和调整的量，通常用一个n维向量(x=(x_1,x_2,...,x_n)^T)来表示。例如，在生产计划问题中，(x_i)可以表示第i种产品的产量；在投资组合问题中，(x_i)可以表示投资于第i种资产的资金比例。

2.目标函数

目标函数(f(x))是衡量决策方案优劣的标准，它是决策变量的函数。我们的目标就是找到一组决策变量，使得(f(x))达到最大或最小。例如，在生产计划中，目标函数可能是总成本（求最小）或总利润（求最大）；在工程设计中，目标函数可能是结构的重量（求最小）或性能指标（求最大）。

3.约束条件

约束条件是对决策变量取值范围的限制，通常分为等式约束和不等式约束。

等式约束：形如(h_j(x)=0)，(j=1,2,...,m)。例如，在资源分配问题中，总资源消耗量必须等于可用资源总量。

不等式约束：形如(g_i(x)\leq0)或(g_i(x)\geq0)，(i=1,2,...,p)。例如，产品的产量不能为负数，或某种资源的消耗量不能超过其上限。

综合以上三个要素，一个标准的最优化问题可以表示为：

minimize(或maximize)f(x)

subjecttoh_j(x)=0,j=1,...,m

g_i(x)≤0,i=1,...,p

在期末复习中，准确识别问题中的决策变量、目标函数和约束条件，并将其转化为上述标准形式，是后续一切分析和求解的基础。

二、无约束最优化算法

当问题中不存在任何约束条件时，我们称之为无约束最优化问题。这类问题是最优化理论的基石，许多约束优化算法也是基于无约束优化算法发展而来。

1.梯度下降法(GradientDescent)

梯度下降法是最经典、应用最广泛的无约束优化算法之一，其核心思想是**“沿着目标函数下降最快的方向（负梯度方向）进行迭代搜索”**。

迭代公式：(x_{k+1}=x_k-\alpha_k\nablaf(x_k))

(\nablaf(x_k))是目标函数在点(x_k)处的梯度。

(\alpha_k)是第k步的步长（学习率），其选择至关重要，直接影响算法的收敛速度和稳定性。

优缺点：

优点：算法简单，易于理解和实现；计算量相对较小。

缺点：收敛速度通常较慢，尤其是在接近最优解时；对步长的选择非常敏感；在非凸问题中容易陷入局部最优。

2.牛顿法(NewtonsMethod)

牛顿法是一种利用目标函数的**二阶导数信息（海森矩阵）**来加速收敛的算法。它的基本思想是在当前迭代点(x_k)处，用一个二次函数去近似目标函数(f(x))，然后求解这个二次函数的极小值点作为下一个迭代点(x_{k+1})。

迭代公式：(x_{k+1}=x_k-[\nabla^2f(x_k)]^{-1}\nablaf(x_k))

(\nabla^2f(x_k))是目标函数在点(x_k)处的海森矩阵。

优缺点：

优点：在最优解附近具有二次收敛速度，收敛非常快。

缺点：需要计算和存储海森矩阵，并求解其逆矩阵，计算量和存储量都很大，尤其当问题规模很大时；对初始点的选择较为敏感，如果初始点离最优解太远，可能不收敛；要求海森矩阵正定，否则可能导致迭代方向不是下降方向。

3.拟牛顿法(Quasi-NewtonMethods)

为了克服牛顿法计算海森矩阵的困难，拟牛顿法应运而生。它的核心思想是不直接计算海森矩阵，而是通过迭代过程中收集到的函数值和梯度信息，构造一个近似的海森矩阵（或其逆矩阵）。

典型算法：DFP算法（Davidon-Fletcher-Powell）和BFGS算法（Broyden-Fletcher-Goldfarb-Shanno）。其中，BFGS算法因其良好的数值稳定性和收敛性质，被广泛认为是拟牛顿法中性能最好的算法之一。

优缺点：

优点：保留了牛顿法收敛速度快的优点；不需要计算二阶导数，计算量和存储量相对较小；对初始点的要求相对宽松。

缺点：虽然比牛顿法简单，但仍比梯度下降法复杂；