CY非参数回归介绍.doc

非参数回归简介 一、参数回归与非参数回归的特点 无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 参数回归与非参数回归的优缺点比较： 参数回归： 优点： (1).模型形式简单明确，仅由一些参数表达(eg: y=a+bx+e, a,b为待估参数) (2).在经济中，模型的参数一般都具有明确的经济含义 (3).当模型参数假设成立，统计推断的精度较高，能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断 缺点： (1).回归函数的形式预先假定 (2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足正态假设，解释变量间独立，解释变量与随机误差不相关，等 (3).需要对模型的参数进行严格的检验推断，步骤较多 (4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果不好，需要修正或者甚至更换模型 非参数回归： 优点； (1).回归函数形式自由，受约束少，对数据的分布一般不做任何要求 (2).适应能力强，稳健性高，回归模型完全由数据驱动 (3).模型的精度高 (4).对于非线性、非齐次问题，有非常好的效果 缺点： (1).不能进行外推运算 (2).估计的收敛速度慢 (3).一般只有在大样本的情况下才能得到很好的效果，而小样本的效果较差 (4).高维诅咒, 光滑参数的选取一般较复杂 二、非参数回归的方法简介 处理高维的非参数方法：多元局部回归、薄片样条、可加模型、投影寻踪、回归树、张量积等。 ●回归模型：设Y为被解释变量，X为解释变量，当X为维随机变量时，，为的相互独立观测样本。非参数回归模型如下： （1） 其中为相互独立同分布随机变量，满足期望，方差。是未知的函数,目标是要把估计出来。易知，。 ●权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，局部多项式方法、样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Yi的线性组合的某种权函数。也就是说，回归函数的估计总可以表为下述形式： （2） 其中｛Wi(X)｝称为权函数。这个表达式表明，总是Yi的线性组合，一个Yi对应一个Wi。不过Wi与Xi倒没有对应关系，Wi如何生成，也许不仅与Xi有关，而且可能与全体的｛Xi｝或部分的｛Xi｝有关，要视具体函数而定，所以Wi(X)写得更细一点应该是Wi(x；X1，…,Xn)。这个权函数形式实际也包括了线性回归。如果，则，也是Yi的线性组合。 在一般实际问题中，权函数都满足下述条件： （3） 下面我们结合具体回归函数看权函数的具体形式。 1．核函数法（N-W估计） 选定Rd空间上的核函数K，一般取概率密度。令 （4） 显然。此时回归函数就是 （5） 核函数估计的基本性质： 定理1.设模型（1）中的的N-W核函数估计为（2）式，且满足以下条件： (A1) (A2) (A3) (A4) 则对每一,,的连续点，以及，有 2.近邻权函数估计 近邻权估计不同于核估计的构建，核估计是在某固定邻域内所对应的解释变量的局部加权平均，估计的好坏主要在于核函数及光滑参数的选取。由核估计的定义知道，核估计的边界点的偏差将大于内点处的偏差。也就是说，核估计存在边界效应问题。而近邻权估计是用最靠近的个观察值所对应的个解释变量的加权平均值。由核函数的选择不同，分为近邻均匀权估计与近邻核权估计。 非参数模型（1）的近邻均匀权估计为 其中 令，为正整数，.显然决定了权的大小及参加平均的的多少，实际上类似于N-W估计中的光滑参数，较大时，会提高近邻均匀权估计的光滑度。 3.局部多项式估计 局部多项式估计使用局部广义最小二乘的思想，依靠局部多项式逼近.设在处的阶导数存在，为邻域内的任一点，则的Taylor展开式为 （6） 因此,可以视为待估参数，令，则（6）式可写为 （7） 这里为的观测样本。 。由WLSE解上式得 .于是在（6），（7）中： 当取遍的样本点时，可以得到整个曲线的估计。LPE估计