统计学习项目2：基于基函数线性回归与岭回归分析.pdfVIP

统计学习Project2

:学号:S

基本要求(1)

1.使用带有基函数的线性回归，你可以选择任何你的基函数

方案中直接采用最小二乘法计算最终的系数，函数为

+0

1

()

fx={0+≤0

最二

小乘的闭合解如下：

=(−1

得到的w系数如下:

w=[]=[0.08670.3997]

01

2.计算最小二乘解；然后添加二次正则化（即，

统计学习Project2

：学号：S

Basicrequirements(1)

1.Uselinearregressionwithbasisfunctions,youcanchooseanybasis

functionsasyoulike

方案中直接采用最小二乘法计算最终的系数，函数为

1+0

()

fx={0+≤0

最小二乘的闭合解如下：

=(−1

得到的w系数如下：

w=[]=[0.08670.3997]

01

2.Calculatetheleastsquaressolution;thenaddquadraticregularization(i.e.

岭回归)，测试不同的；展示测试性能

Ridge的alphas按照0.1的步长取0.1~1.8，得到的w系数如下：

0.10.20.30.40.50.6

-0.0226741-0.0227121‑0.0227501‑0.0227879-0.0228257-0.0228634

14779

0.24945960.24932110.24918270.24904460.24890660.2487687

539229

0.70.80.91.01.11.2

-0.0229011‑0.0229387‑0.0229761‑0.0230136‑0.0230509-0.0230881

3