实验2实验3- 优化算法实验.docxVIP

实验2-3

实验名称：梯度下降法、随机梯度下降法、动量法、Adam的对比实验

一、实验目标

理解梯度下降法（GD）、随机梯度下降法（SGD）、动量法（MSGD）、Adam四个算法的原理及区别，编程实现四个算法解决线性分类问题，对比四个算法的收敛速度、计算效率和分类准确率，通过可视化观察优化过程。

二、线性分类问题描述

考虑机器学习中经典的二分类问题。记第个样本为，在二分类问题中通常令或。当使用线性分类器时，模型关于第个样本的输出为，其中称为分类器的权重，称为偏置，我们希望该输出值与样本的真实类别标签尽量一致，并使用二次函数度量二者之间的差别。具体地，将第个样本的误差记为：

对所有样本的误差求平均，可得经典的均方误差损失函数如下：

（3.1）

三、实验数据

在二维平面的生成两类数据，每类100个数据点，第一类以(1,1)为中心，按高斯分布生成，如下图红色圆圈所示，第二类以(3.4)为中心，按高斯分布生成，如下图蓝色星号所示。每类生成10个测试数据，如下图绿色点所示。

四、实验要求

要求使用梯度下降法、随机梯度下降法、动量法、Adam四种优化算法最小化损失函数(3.1)，以寻找最优参数和，并将每个算法训练出的线性分类器画在图上，如下图所示。关于每个算法的具体实现，参考教材3.4节。

实验工具：PyThon或MATLAB。

五、实验报告

（1）代码实现：完整代码（含注释）。

（2）结果对比：包括测试误差和训练时间

（3）可视化：画出四个算法的收敛曲线图