岭回归在财政收入中的应用毕业论文.doc

岭回归在财政收入中的应用 信息与计算科学 2003级 母培松 指导老师 杜世平 副教授 摘要：本论文介绍了岭回归的统计学原理和方法,阐述了岭回归和最小偏二乘法的差别和关系,总结了评价岭回归的效应的性质和其确定方法,讨论了岭回归在经济领域中的具体应用，并用matlab软件来实现计算程序。 关键词：岭回归，岭迹，病态矩阵，有偏估计 Ridge regression return for revenue Mu Peisong Information and Computational Science, Grade 2003 Directed by Du shiping（Associate Professor） Abstract : This paper introduced the ridge regression statistical theory and methods, Described the differences and relationships in the ridge regression and the partial least two multiplication , Raised ridge Regression evaluation of the k effect of nature and its method, More detailed discussions on the ridge regression in the economic field the specific application, using Matlab software to achieve program. Keywords : Ridge Regression, Ridge Trace, Pathological Matrix ,Biased Estimate 1 引言 在回归分析中最小二乘法是最常用的方法，使用最小二乘法的一个前提是不为零，即矩阵非奇异，当所有变量之间有较强的线性相关性时，或者变量之间的数据变化比较小或者部分变量之间有线性相关性时，矩阵的行列式比较小，甚至趋近于0，一般在实际应用中处理：当<0.01时常被称为病态矩阵[1 ~ 2]，它表明最小二乘法并非在各方面都尽善尽美，因为这种矩阵在计算过程中极易造成约数误差，因此得到的数据往往缺乏稳定性和可靠性。 岭回归是在自变量信息矩阵的主对角线元素上人为地加入一个非负因子，从而使回归系数的估计稍有偏差、而估计的稳定性却可能明显提高的一种回归分析方法，它是最小二乘法的一种补充，岭回归可以修复病态矩阵，达到较好的效果。近年来，它在经济、工业生产、工程技术、环境保护等方面已有一定的应用。本论文介绍了岭回归的相关理论，以及岭回归与常回归的联系与区别，并结合实际例子阐述岭回归的应用。 岭回归的统计基础 2.1 岭迹的概念 线性回归分析的正规方程组可以写成： （1） 其最小平方解则为： （2） 式（1）和（2）中的为自变量的阶矩阵，为的转置，为对称的方阵，通常称为信息矩阵，为的逆阵，为因变量的向量，为待解元，即回归系数的向量，这里的为观察值组数，为待估计的回归系数。当时，矩阵为病态矩阵，这样最小偏二乘法就会产生较大的误差，是的无偏估计，但很不稳定，在具体取值上与真值有较大的偏差，甚至有时会出现与实际经济意义不符的正负号。 如果我们在的主对角线元素上加上一个非负因子，即令： = （3） （为阶单位矩阵），那么和有何不同呢（下文在这些统计数后均加标记（），便于与最小二乘法，即=0的统计数相区别）？最先研究这一问题的是Hoerl和Kennard以及Marquardt[5]，他们的基本结论是：是的非线性函数；=0时，=同为最小平方估计数；而后，随着的增大，中各元素的绝对值均趋于不断变小(由于自变数间的相关，个别可能有小范围的向上波动或改变正、负号)，它们对的偏差也将愈来愈大；如果，则。随的改变而变化的轨迹，就称为岭迹，参见图1，岭迹图表明，的加入使成为回归系数的有偏估计数。 2.2 的效应 实际上，的加入会影响到回归分析中的许多统计数[3 ,4 ,9]，而不仅是上述的。其中最重要的还有以下两项： 随着的增大，离回归平方和和离回归均方都将增大，亦即必有和，这是随着增大的偏差也愈来愈大的直接反应[3 ,4 ,9]。 随着的增大，的逆阵、即的主对角元素将不断减小[3 ,4 ,9]，亦即必有。由于回归系数的误差均方，所以在适当可能使和，即回归系数的误差均方