线性回归和偏差.pdfVIP

机器学习中的数学 (2)- 线性回归，偏差、方差权衡 版权声明： 本文由 LeftNotEasy 所有，发布于 。如果转载， 请注明 出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。如果有问题，请联系作者 wheeleast@ 前言： 距离上次发文章，也快有半个月的时间了，这半个月的时间里又在学习机器学习的道路上摸 索着前进， 积累了一点心得， 以后会慢慢的写写这些心得。 写文章是促进自己对知识认识的一个 好方法，看书的时候往往不是非常细， 所以有些公式、知识点什么的就一带而过，里面的一些具 体意义就不容易理解了。而写文章，特别是写科普性的文章，需要对里面的具体意义弄明白， 甚 至还要能举出更生动的例子， 这是一个挑战。 为了写文章， 往往需要把之前自己认为看明白的内 容重新理解一下。 机器学习可不是一个完全的技术性的东西，之前和部门老大在 outing 的时候一直在聊这个 问题，机器学习绝对不是一个一个孤立的算法堆砌起来的， 想要像看《算法导论》这样看机器学 习是个不可取的方法， 机器学习里面有几个东西一直贯穿全书， 比如说数据的分布、 最大似然 （以 及求极值的几个方法，不过这个比较数学了），偏差、方差的权衡，还有特征选择，模型选择， 混合模型等等知识， 这些知识像砖头、 水泥一样构成了机器学习里面的一个个的算法。 想要真正 学好这些算法， 一定要静下心来将这些基础知识弄清楚， 才能够真正理解、 实现好各种机器学习 算法。 今天的主题是线性回归，也会提一下偏差、方差的均衡这个主题。 线性回归定义： 在 上一个主题 中，也是一个与回归相关的，不过上一节更侧重于梯度这个概念，这一节更侧 重于回归本身与偏差和方差的概念。 回归最简单的定义是，给出一个点集 D ，用一个函数去拟合这个点集，并且使得点集与拟合 函数间的误差最小。 上图所示，给出一个点集 (x,y), 需要用一个函数去拟合这个点集，蓝色的点是点集中的点， 而红色的曲线是函数的曲线， 第一张图是一个最简单的模型， 对应的函数为 y = f(x) = ax + b ， 这个就是一个线性函数， 第二张图是二次曲线，对应的函数是 y = f(x) = ax^2 + b 。 第三张图我也不知道是什么函数，瞎画的。 第四张图可以认为是一个 N 次曲线， N = M - 1 ，M 是点集中点的个数，有一个定理是，对 于给定的 M 个点，我们可以用一个 M - 1 次的函数去完美的经过这个点集。 真正的线性回归，不仅会考虑使得曲线与给定点集的拟合程度最好，还会考虑模型最简单， 这个话题我们将在本章后面的偏差、 方差的权衡中深入的说， 另外这个话题还可以参考我之前的 一篇文章： 贝叶斯、概率分布与机器学习 ，里面对模型复杂度的问题也进行了一些讨论。 线性回归 (linear regression) ，并非是指的线性函数，也就是 （为了方便起见，以后向量我就不在上面加箭头了） x0,x1 …表示一个点不同的维度，比如说上一节中提到的，房子的价钱是由包括面积、房间 的个数、房屋的朝向等等因素去决定的。而是用广义的线性函数： wj 是系数， w 就是这个系数组成的向量，它影响 着不同维度的 Φj(x) 在回归函数中的影响度，比如说对于房屋的售价来说，房间朝向的 w 一定 比房间面积的 w 更小。 Φ(x) 是可以换成不同的函数，不一定要求 Φ(x)=x ，这样的模型我们认 为是广义线性模型。 最小二乘法与最大