机器学习实验.docVIP

. . ? 实验题目：Regularization 实验学时： 实验日期： 实验目的： 掌握线性回归和逻辑回归的正规化，理解λ 对θ参量的范数的影响 软件环境： Octave-4.2.1 (GUI) 实验步骤与内容： 要求： 第一部分：线性回归的正则化 1. 下载数据包 ex5Linx.dat 和 ex5Liny.dat 。 2.本实验中的x是个标量，只有一个特征，用5阶多项式拟合的预测函数： 为解决过拟合，引入正规化因子λ，此时代价函数： 3.使用梯度下降法： 各自正规化因子对应的预测曲线如下： 4.使用正规方程解法： θ=(XTX)?1XTy 即： 各自正规化因子对应的预测曲线如下： 第二部分：逻辑回归的正规化 1.下载ex5Logx.dat 和 ex5Logy.dat 2.代价方程： 其中： 采用牛顿法求解最小代价函数。 迭代函数： 其中： 3. 各自正规化因子对应的预测曲线如下： 实验结果 1. 2. 结论分析与体会： 1.对于线性回归，可以看出，随着λ 的增大，θ参量的范数下降。这是由于大的λ 补偿了原代价函数中大的参数。当λ 过大时，容易出现欠拟合，且预测曲线的走向与实际的相反。 2.对于逻辑回归，当λ 增大时，θ 参量的范数减小。但是大到一定程度后也存在边界欠拟合的状况 附录：程序源代码 1 x = load(ex4Linx.dat); y