各种线性回归模型原理.docVIP

一元线性回归 一元线性回归模型的一般形式： 一元线性回归方程为： 当对与进行n次独立观测后,可取得n对观测值则有 回归分析的主要任务是通过n组样本观测值对进行估计。一般用分别表示的估计值。 称为关于的一元线性回归方程（简称为回归直线方程），为截距，为经验回归直线的斜率。 引进矩阵的形式： 设 ，，， 则一元线性回归模型可表示为： 其中为阶单位阵。 为了得到更好的性质，我们对给出进一步的假设（强假设） 设相互独立，且，由此可得：相互独立，且 程序代码： x=[]; y=[]; plot(x,y,’b*’) 多元线性回归 实际问题中的随机变量通常与多个普通变量有关。 对于自变量的一组确定值，具有一定的分布，若的数学期望值存在，则它是关于的函数。 是的线性函数。 是与无关的未知参数。 逐步回归分析 逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。 一、变量重新编号 1、新编号数学模型 令，自变量个数为，则其数学模型为： 式中， （其中为样本个数） 的偏回归平方和为： ：为的算术平均值 ：的偏回归系数 ：为逆矩阵对角线对应元素 2 回归数学模型 新编号的回归数学模型为： 二、标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。 1、标准化回归数学模型 令 j=1，2，3，… ，k 其中：　 　 ！为离差平方和的方根 注意：它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。 则回归数学模型为： 2、标准化回归数学模型的正规方程组 标准化回归数学模型正规方程组的一般形式为： 因为， ， 所以上述正规方程组可变为： 这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为： 这样，数据标准化后的估计值应为0，并令，则可得： 其中称为相关系数矩阵。 解此方程组，即可求出，故可得标准化后的回归模型为： 标准化的回归模型的矩阵形式： 三、标准化前后回归模型的关系 1、标准化前后的回归模型 1）标准化前后回归模型为： 2）标准化后回归模型为： 2、标准化前后的偏回归系数 标准化前后偏回归系数的关系可从变化过程反演得知： 令代入标准化前的回归模型可得： 整理后得： 将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为： j=1,2,3,…k-1 于是只要求出，即可求出，今后仅讨论标准化后的回归模型。 3、标准化后的各种离差平方和 MATLAB中多元回归分析的实现： 1.确定回归系数的点估计值,用命令 b=regress(Y,X) 2.求回归系数的点估计和区间估计,并检验回 归模型,用命令: [b,bint,r,rint,stats]=regress(Y,X,alpha) 3.画出残差及其置信区间,用命令: rcoplot(r,rint) 符号说明 (2) alpha为显著性水平, 默认为 0.05； (3) bint为回归系数的区间估计； (4) r与rint分别为残差及其置信区间； (5) stats 是用于检验回归模型的统计量，有三个数值, 第一个是相关系数，其值越接近于1，说明回归方程越显著; 第二个是 F 值，FF1-alpha(p,n-p-1) 时拒绝，F越大, 说明回归方程越显著；第三个是与F对应的概率 p，palpha 时拒绝, 回归模型成立. MATLAB中各种回归分析的实现 （1）多元线性回归 b=regress(Y,X) (2)一元多项式回归 [p,S]=polyfit(x,y,m) (3)多元二项式回归 rstool(x,y,’model’,alpha) (4)逐步回归分析 stepwise(x,y,inmodel,alpha) 程序： x=[]; X=[ones(n,1),x]; Y=[]; 回归分析检验 [b,bint,r,rint,stats]=regress(Y,X); b,bint,stats 残差分析 rcoplot(r,rint) 预测及作图 z=b(1)+b(2)*x plot(x,Y,’k+’,x,z,’r’) 逐步回归分析: 例:水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、 x4有关,今测得一组数据如下,试用逐步回归