一元非参数回归 (非参数统计 新).ppt

局部回归 (2)k-近邻核回归 * 局部回归 (2)k-近邻核回归 * 局部回归 9.3. 稳健光滑 (1)局部加权描点光滑(Locally Weighted Scatter plot Smoothing, LOWESS) Step1:在x的邻域内，用一个多项式进行拟合，求出系数{ βj } 其中wi(x,k) 为k-NN权 Step2:根据残差 计算尺度估计 ， 定义稳健权重 Step3:用新的权重 重复Step1、Step2，直到第N次结束 * (1)局部加权描点光滑( LOWESS) 局部回归 * (1)局部加权描点光滑( LOWESS) 局部回归 * 9.5正交光滑 1.正交多项式回归 回归函数 其中 是正交基函数，如Laguerre, Legendre正交多项式 正交基满足 系数 系数估计 如 * 正交光滑 回归函数估计 写成线性光滑器： * Legendre正交多项式 正交光滑 * 9.6罚最小二乘法 在普通最小二乘法中，求 达到最小，有无穷解。 为排除误差项产生的噪声，使解具有光滑性（二阶导数连续），二阶罚方法是一个很好的选择。 * 二阶罚最小二乘 * 罚最小二乘法是，使 达到最小，解为 。 为平滑参数。 这里解唯一。 时，通过观察点的曲线解无意义。 时，直线解也没意义。 选取方法一样是GCV法。 * * 第9章 一元非参数回归 * 参数回归与非参数回归的优缺点比较： 参数回归： 优点：(1).模型形式简单明确，仅由一些参数表达 (2).在经济中，模型的参数具有一般都具有明确的经济含义 (3).当模型参数假设成立，统计推断的精度较高，能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断 缺点：(1).回归函数的形式预先假定 (2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足 正态假设，解释变量间独立，解释变量与随机误差不相关，等 (3)需要对模型的参数进行严格的检验推断，步骤较多 (4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果 不好，需要修正或者甚至更换模型 非参数回归： 优点：(1)回归函数形式自由，受约束少，对数据的分布一般不做任何要求 (2)适应能力强，稳健性高，回归模型完全由数据驱动 (3)模型的精度高 ;(4)对于非线性、非齐次问题，有非常好的效果 缺点：(1)不能进行外推运算,(2)估计的收敛速度慢 (3)一般只有在大样本的情况下才能得到很好的效果， 而小样本的效果较差 (4)高维诅咒, 光滑参数的选取一般较复杂 非参数回归 方法 样条光滑 正交回归 核回归：N-W估计、P-C估计、G-M估计（9.1） 局部多项式回归：线性、多项式（9.2） 光滑样条：光滑样条、B样条 近邻回归：k-NN、k近邻核、对称近邻（9.4） 正交级数光滑（9.5） 稳健回归：LOWESS、L光滑、R光滑、M光滑 ----------（9.3） 局部回归 Fourier级数光滑 wavelet光滑 处理高维的非参数方法：多元局部回归、薄片样条、 可加模型、投影寻踪、 回归树、张量积，等 * 核函数K ：函数K(.)满足: 常见的核函数： Parzen 核： Gaussian核： Epanechnikov核： tricube核： 为示性函数 * 回归模型： (1)模型为随机设计模型,样本观测 (X i, Yi)~iid (2)模型为固定设计模型 Xi 为R中n个试验点列, i=1,2,…,n Yi为固定Xi的n次独立观测，i=1,2,…,n m(x)为为一未知函数，用一些方法来拟合 定义：线性光滑 (linear smoother) * 光滑参数的选取 风险(均方误差) (mean sq