岭回归原理及其应用.pdfVIP

维普资讯 一 ’ 岭 回归原理及其应用 羔一 (：7 zl 【摘 要 】 本文叙述 7岭 回归的基本原理及确定岭参数 K 的几种方法 。给 出7几个 帅 关【键词】焦§互L、崆丛 生羹堡一 t；KJY 。 。 、 ． 经典最小二乘估if(简称Ls估计)以其众多的优良性质获得了 髭的应用。稿着屯焉计算 技术的发展，人们越来越多地处理大型回归问题所积累的经验表明： 倩计有时碾， 理想-当 自变量之间存在线性相关时，N=APA接近奇异，即呈现所谓 “病态”，此时 佑站垂々性能变 坏。尽管L 估计参数仍是其真值的无偏估计，但在具体取值上，常常岛甚真锝戒较大的差距t 因此，在这种情况下，很难认为Ls参数估值仍然是其真值的良好估计 。 针对上述问题 ，近二十年来 ，许多统计学者提出了一些改进Ls的新的估计方法 簧羼学者 A．E．Hcerl在1962年提出并和R．W．Kemla珥在1970J~系统地发展了一种改避l 估计的方 法，这种方法一般称为岭回归 (RidgeRegression)，该方法不仅理论性强，且县存较高的实际应 用价值 。 r 一 岭回归 0 ： 、 1．岭 回归定义 ： 。 设一个平羞 问题 的误差方程具有如下形式 ： V =AX--L (1) 式中，L为n维观测 向量，A为n×t阶系魏矩阵，x为 t维参数 {【瞳量，V为p箍误差向量 ；并嚏 P为观浏向量权矩 阵。 一 ·。- ． ．：。 文(k)= (A PA+kI) A PL (2) 称为 x 的岭 回归估计 ，I为单位矩阵，0≤k。。 ， 当 k一0时 ，(2)式变为 ·f ● 文一 (A PA) A PL ． 此式表明 ：Ls估计是 k=0时的岭估计 。 、： 文作为 x的估计是否 良好 ，应看它与 x舶接近程度 。均方误差 (ig MSE) MSEC~)一E(∥文一譬∥。)=E[(文一x)(文一X)3是一个较好的数量指标 。 可 以证 明： ．