多元线性回归.pptxVIP

;

变量之间

的关系;

●

●

●

●

●

●

●;;

相关与回归概述

回归问题——统计学角度

1.从一组样本数据出发，确定变量之间的数学关系式。

2.对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著。

3.利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。;

相关与回归概述

回归问题——机器学习角度

回归和分类同为有监督学习问题。

回归模型表示的是从输入变量到输出变量之间映

射的函数。

回归问题分为学习和预测两个过程。;

?回归和分类都用于预测，回归预测出一个值，分类预测出一个类别。

?回归问题的输出是连续值，是定量的。

?分类问题的输出是离散值，是定性的。

?回归的目标是找到最优的拟合，分类的目标是找到最优的决策边界。;;

例如根据使得平方损失函数最小化的策略，使用最小二乘法学习出最优的函数。;

一元线性回归

问题提出

若可控变量x与随机变量y之间有线性相关关系，其n对观测值记为(x1,y1),(x2,y2),,(xn,yn),;

一元线性回归

回归模型

若两个变量x,y之间有线性相关关系，其回归模型为;

εi~N(0,σ2),i=1,2,,n

E(εiεj)=0,i≠j

可得到：y~N(a+bx,σ2);

一元线性回归

回归方程

去掉回归模型中的扰动项，得理论回归方程为：;;

(;

一元线性回归

最小二乘估计

记Q(a,b)=εi2=[yi-(a+bxi)]2

二元函数Q(a,b)的最小值点(,)称为a,b的最小二乘估计

最小二乘估计法是多种求解回归模型方法中最为基础的一种。;

一元线性回归

MATLAB方法;

一元线性回归

MATLAB方法;

MATLAB方法;

一元线性回归

MATLAB方法;

回归诊断

回归诊断是对回归分析中的假设以及数据的检验与分析。

从数据的角度，回归诊断的主要任务是查找异常点并做相应处理。

通过MATLAB回归模型对象的Residuals属性可以查看残差，找到异常点。;

回归诊断

案例：各城市年平均气温与年日照时数关系;

climatedata=xlsread(climate.xls);

x=climatedata(:,1);%年平均气温y=climatedata(:,5);%年日照时数plot(x,y,k.,Markersize,10);

xlabel(年平均气温);

ylabel(年日照时数);;

%回归

mdl=fitlm(x,y);

figure;

mdl.plot;

%诊断

Res=mdl.Residuals;

Res_stan=Res.Standardized;%标准化残差figure;

plot(Res_stan,kx);

refline(0,2);

refline(0,-2);;

回归诊断

案例：各城市年平均气温与年日照时数关系;

%剔除异常值

id=find(abs(Res_stan)2);

mdl2=fitlm(x,y,Exclude,id);figure;

mdl2.plot;;

回归诊断

案例：各城市年平均气温与年日照时数关系;;

loadcarsmall;%一个汽车数据集

X=[Weight,Horsepower,Acceleration];Mdl=fitlm(X,MPG);

;

一个简单例子;

%生成测试数据

X=randn(100,1);

y=2*X.^2+3*X+4+randn(100,1);

%增加一维

X=[X,X.^2];

%使用线性回归

mdl2=fitlm(X,y);

解决方法：使用2次函数模型;

直接使用fitlm函数;

loadcarsmall;

X=[Weight,Acceleration];

Mdl=fitlm(X,MPG,y~1+x1*x2+x1^2);

案例：汽车数据集的多元广义线性回归;

数据科学基础Ⅰ

（Matlab）

回归分析。;;

loadcarsmall;%一个汽车数据集

X=[Weight,Horsepower,Acceleration];Mdl=fitlm(X,MPG);

;

一个