第八章 曲线拟合、回归和相关.ppt

曲线拟合、回归和相关 曲线拟合 实践中寻求两个(或多个) 变量间存在的关系，拟 合给定数据用以确定变 量间的近似曲线方程， 此过程叫曲线拟合。 回归 曲线拟合的主要目的之一是从一个变量(独立 变量)估计另一个变量(相依变量)，估计的过 程常牵涉到回归。如果按某个方程的意义从x 估计y，我们称该方程为y关于x的回归方程。 对应的曲线称为y关于x的回归曲线。 最小二乘法 若在近似n个数据点的集合 时，对一给定的曲线族的全 部曲线，其中有一条曲线的 性质: 达最小值，则称该曲线为给 定曲线族中的最佳拟合曲 线。 有这样性质的一条曲线称为 在最小二乘意义上对数据的 拟合，该曲线称为最小二乘 回归曲线 最小二乘直线 数据点集(x1,y1),…,(xn,yn)最小二乘直线方程 y=a+bx 将所有点代入直线方程后相加，我们得到 ?y=an+b?x(或 ) 以及 ?xy=a?x+b?x2 这两个方程称为最小二乘的正规方程。由上 面的方程组我们可以达到a,b分别为： 我们还可以得到： 从上式我们可以看到最小二乘直线通过点 ， 此点称为此批数据的重心。 显然斜率b与坐标原点无关，所以我们可以通过适 当的坐标变换来减少求最小二乘直线的工作量。 用样本方差和协方差表示的最小二乘直线 x和y的样本方差和协方差给定为 用这些项，y关于x或x关于y的最小二乘回归直线 分别写成 因为相关系数 所以我们可以得到 事实上，以上就是x,y的标准化样本值。我们可以看 到仅当 r=?1时，上面两式才是表示同一直线，而且 全部样本点都处与这条直线上，因此存在完全线性 的相关和回归。 最小二乘抛物线 从最小二乘直线推广到最小二乘抛物线： y=a+bx+cx2 其中a,b,c由下列正规方程确定： ?y=na+b?x+c?x2 ?xy=a?x+b?x2+c?x3 ?x2y=a?x2+b?x3+c?x4 多元回归 上面的概念也可以推广到更多变量。例如 z=a+bx+cy 那么确定a,b,c的方程组为 ?z=na+b?x+c?y ?xz=a?x+b?x2+c?xy ?yz=a?y+b?xy+c?y2 估计的标准误差 Y关于x回归曲线离散程度的一个度量 这个量称为y关于x的估计的标准误差。 由于 ，我们可以看到最小二乘曲 线在全部可能的回归曲线中有最小的估计的标准误 差。 在最小二乘直线中 对最小二乘直线也能用方差和相关系数表示 正如存在一个总体方差的无偏估计 一样，有一个估计的理论标准误差的平方的无偏估 计，有 线性相关系数 为了考察相关系数的统计意义 我们也能显示 式子的左边为总变差，右边的第一项为不可解释的变差(是随机的或不可 预见的方式引起的)，第二项为可解释变差(可以由最小二乘回归线得到 解释)，所以我们可以得到 所以，相关系数可解释称总变差中可用最小二乘回归直线解释的部分。 换句话说，r度量了最小二乘回归直线拟合样本数据是如何地好。如果 r2=1，我们说有纯线性相关。如果r=0，则总变差完全不可解释。 广义相关系数 广义相关系数定义： 我们使用此定义可获得非线性相关系数。 由于相关系数仅是度量一个给定的回归曲线(曲面) 是否较好地拟合了样本数据。所以，当样本是非线 性的，如果我们得到线性相关系数很小，这并不表 明仅有一点相关性，而是仅有一点线性相关。 回归的概率解释 从同一总体抽取不同的样本作拟合，我们会 得到不同的回归曲线。 给定两个随机变量X和Y的联合密度函数和概 率函数。如果使E{[Y-g(X)]2}=最小值的y=g(x) 曲线称为Y关于X的最小二乘回归曲线有如下 定理： 定理一：y=g(x)=E(Y|X=x)满足E{[Y-g(X)]2}= 最小值，所以它是Y关于X的最小二乘曲线。 定理二：如果X和Y是具有二元正态分布的随机变量， 那么Y关于X的最小二乘回归曲线是一条回归直线，为 前面对样本的最小二乘回归的叙述容易推广到总体上。 例如，总体情况下的估计的标准误差用方差和相关系数 项给定为 相关的概率解释 总体相关系数