非参数回归的介绍要点.pptVIP

非参数回归简介 1 参数回归与非参数回归的优缺点比较： 参数回归： 非参数回归： 优点：(1).模型形式简单明确，仅由一些参数表达 (2).在经济中，模型的参数具有一般都具有明确的经济含义 (3).当模型参数假设成立，统计推断的精度较高，能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断 缺点：(1).回归函数的形式预先假定 (2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足 正态假设，解释变量间独立，解释变量与随机误差不相关，等 (3)需要对模型的参数进行严格的检验推断，步骤较多 (4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果 不好，需要修正或者甚至更换模型 优点；(1)回归函数形式自由，受约束少，对数据的分布一般不做任何要求 (2)适应能力强，稳健性高，回归模型完全由数据驱动 (3)模型的精度高 ;(4)对于非线性、非齐次问题，有非常好的效果 缺点：(1)不能进行外推运算,(2)估计的收敛速度慢 (3)一般只有在大样本的情况下才能得到很好的效果， 而小样本的效果较差 (4)高维诅咒, 光滑参数的选取一般较复杂 2 非参数回归 方法 样条光滑 正交回归 核回归：N-W估计、P-C估计、G-M估计 局部多项式回归：线性、多项式 光滑样条：光滑样条、B样条 近邻回归：k-NN、k近邻核、对称近邻 正交级数光滑 稳健回归：LOWESS、L光滑、R光滑、M光滑 局部回归 Fourier级数光滑 wavelet光滑 处理高维的非参数方法：多元局部回归、薄片样条、 可加模型、投影寻踪、 回归树、张量积，等 3 核函数K ：函数K(.)满足: 常见的核函数： Boxcar核： Gaussian核： Epanechnikov核： tricube核： 为示性函数 4 回归模型： (1)模型为随机设计模型,样本观测 (X i, Yi)~iid (2)模型为固定设计模型 Xi 为R中n个试验点列, i=1,2,…,n Yi为固定Xi的n次独立观测，i=1,2,…,n m(x)为为一未知函数，用一些方法来拟合 定义：线性光滑器(linear smoother) 5 光滑参数的选取 风险(均方误差) (mean squared error , MSE) 理想的情况是希望选择合适的光滑参数h，使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线(即达到风险最小)，这里真实回归函数m(x)一般是未知的。 可能会想到用平均残差平方和来估计风险R(h) 但是这并不是一个好的估计，会导致过拟合（欠光滑），原因在于两次利用了数据，一次估计函数，一次估计风险。我们选择的函数估计就是使得残差平方和达到最小，因此它倾向于低估了风险。 是 的估计，h是光滑参数，称为带宽或窗宽 6 光滑参数的选取 缺一交叉验证方法(leave-one-out cross validation , CV) 这里 是略去第i个数据点后得到的函数估计 交叉验证的直观意义： 因此： 7 光滑参数的选取 定理：若 那么缺一交叉验证得分 能够写成： 这里 是光滑矩阵L的第i个对角线元素 广义交叉验证(generalized cross-validation,GCV) 其中： 为有效自由度 8 光滑参数的选取 其他标准 (1)直接插入法(Direct Plug-In , DPI) 相关文献可以参考： Wolfgang H?rdle(1994)，Applied Nonparametric Regression，Berlin Jeffrey D.Hart (1997), Nonparametr