人工智能技术与应用实践手册（执行版）.docxVIP

技术与应用实践手册（执行版）

第1章基础理论与实践

1.1机器学习核心算法原理

梯度下降法（GradientDescent）是优化器中最经典的核心算法，其目标是通过迭代更新参数来最小化损失函数。在训练过程中，算法首先计算损失函数对每个参数的偏导数，即梯度向量，该向量指示了损失函数下降最快的方向。然后，算法将参数沿该方向进行微小步长更新，更新公式为$w_{new}=w_{old}-\eta\cdot\nablaL(w)$，其中$\eta$为学习率，$\nablaL(w)$为损失函数的梯度。为了加速收敛，常采用带有动量的变体（如Adam算法），它会维护两个动量估计量，分别用于加速和稳定参数更新过程。随机梯度下降（SGD）是一种简单的优化策略，每次迭代仅选取训练数据中的一个样本进行计算梯度并更新参数。这种方法计算效率高，能够利用数据中的噪声信息加速收敛，但在大规模数据集上容易陷入局部最优解。在实际工程实践中，为了平衡收敛速度和稳定性，通常将SGD与批处理优化器（如SGDwithMomentum或RMSprop）结合使用，以平滑参数更新曲线并抑制过拟合风险。

批量梯度下降（BatchGradientDescent）则是针对整个训练集进行梯度计算的优化方法。算法收集所有样本的梯度信息，计算全局梯度向量，然后一次性更新所有参数。