现代机器学习 课件 第3章 线性回归与分类模型.pptx

第3章线性回归与分类模型;

3.1线性回归模型;

线性回归有很多实际用途,最常见的有以下两大类:

(1)基于观测或历史数据进行预测。在已有数据上对观测数据和历史数据进行回归分析,得到线性模型,利用该模型对新数据进行预测。

(2)变量相关性分析。线性模型中因变量与多个自变量间的相关性是有区别的,使用线性回归方法进行分析,可以了解哪些因素对最终结果影响最大。;

3.1.1线性函数模型;

下面将以一元线性回归为例具体介绍线性回归模型。对于一元线性回归,其模型如下:

一元线性回归模型可借助条件数学期望等价地写为E[y|x]=β0+β1x。也就是说,在给定的条件下,y的条件数学期望为x的线性变换。;

一元线性回归模型的直观意义可总结为如下的四点:

(1)β0,β1为未知参数。

(2)β0为x=0时的应变量的均值(回归直线在y轴上的截距)。

(3)β1为x增加一个单位时应变量的平均变化率(回归直线的斜率)。若β10,则y与x正相关;若β10,则y与x负相关;若β1=0,则y与x不相关。

(4)β0+β1x为自变量取值x时应变量的均值。

设(xi,yi)(i=1,2,…,n)为自变量x与应变量y的n对观测值,由此可绘出图3.1所示的散点图。;;;

1.模型的参数估计

对于预测变量的取值(x1,x2,…,