大似然与线性回归.pdfVIP

机器学习算法讲堂（2.1）

线性回归与最大似然

qscqesze

什么是最大似然

•教育程度的初中、高中、大学、及博士定义为1234。

•工资=1000x

•两个点的情况：

三个点的情况呢

作出取舍。

1.折衷一下，选择三条线的中

间那根（红线），但无法解释

三个点的情况呢

2.承认我们目前有一些因素没

有观察到，我们构造的无

法完全解释工资。解释的程度

是点到直线的距离。

最小二乘法

三个点的情况呢

3.为什么我们观察到了这三个点

，这世界上工资和学历这么多，

为什么偏偏让我看到了这三个点

。说明这三个点被我们观察到的

出现的概率最大。所以我们想找

到一个来让我们观察到这三

个点的概率最大。

最大似然的推导

•现在存在一个数据集D={(x1,y1),(x2,y2)…(xn,yn)}

•完美预估一个东西很难，我们承认有误差的存在，于是我们定义

一个随量。

最大似然的推导

•假M个f(x),那么我们需要评估哪个模型最有可能产生这一串

数据D(Y,X).可能性应该用概率来表示。

•假设数据之间是独立的：

最大似然的推导

•因为X,Y已经确定了，现在要使得可能性最大，我们只能通过调整

的值了。

•即现在要计算一个模型产生数据的可能性，我们只要知道这个模

型预测值与实际值之间的误差,和这个噪声随量E的分布就可

以了。

最大似然与线性回归

•根据之前定义：所以：

•假设Y服从均值为wX，方差为1的正态分布。

最大似然与线性回归

•由于每一次的误差都是符合正态分布的，似然函数：

最大似然与线性回归

所以我们可以看出用均方误差最小化求解线性回归，和假设预

测误差符合分布，然后利用分布的极大似然估计求解

线性回归，最后得到的结果相同。