优化基础理论：约束优化与无约束优化_2.无约束优化问题.docx

PAGE1

PAGE1

2.无约束优化问题

无约束优化问题是优化领域中最基本的问题之一，它涉及在没有外部约束条件的情况下，寻找某个目标函数的极值点。无约束优化问题的数学形式可以表示为：

min

其中，x是一个n-维向量，fx是一个定义在R

2.1梯度下降法

梯度下降法是一种迭代优化算法，用于寻找函数的局部最小值。其基本思想是从一个初始点开始，沿着目标函数的负梯度方向逐步移动，直到收敛到一个极小点。梯度下降法的迭代公式为：

x

其中，xk是第k次迭代的点，α是步长（学习率），?fxk是目标函数f

2.1.1梯度下降法的原理

梯度下降法的核心在于梯度?fx，它是函数