非参数回归的 案例.ppt

正交光滑 WMAP数据的小波回归 * * * * 局部回归 (2)k-近邻核回归 * 局部回归 (2)k-近邻核回归 * 局部回归 (3)对称化近邻回归(Symmetrized Nearest Neighbor Estimate) Yang(1981)，Stute(1984)研究了这种估计 其中权重 写成线性光滑器 这里的k(h)相当于nh, 可以看出实质上相当于 nh个Yi值加权平均 * 局部回归 4. 稳健光滑 (1)局部加权描点光滑(Locally Weighted Scatter plot Smoothing, LOWESS) Step1:在x的邻域内，用一个多项式进行拟合，求出系数{ βj } 其中Wki(x) 为k-NN权 Step2:根据残差 计算尺度估计 ， 定义稳健权重 Step3:用新的权重 重复Step1、Step2，直到第N次结束 * (1)局部加权描点光滑( LOWESS) 局部回归 * (1)局部加权描点光滑( LOWESS) 局部回归 * 局部回归 (2) L- 光滑 条件L函数 其中 为条件分位数函数 特别：a)当 时 b)当 时，为中位数光滑 其中 ={ i : xi是离x最近的k个观测值之一} * 局部回归 (2) L- 光滑 对于条件L函数 其中用 来估计F(y|x) 得到L-估计 * 局部回归 (3) M- 光滑 (局部)最小二乘方法得到的光滑估计 是通过考虑损失函数为二次函数得到的，现在考虑损失函数 c较大时，为普通的二次损失函数，c较小(≈1倍或2倍观测误差的标准差)可以获得更多的稳健性 * 局部回归 M-样条(Cox, 1983) 核M-光滑(kernel M-smoother)(Hubber,1979;Silverman,1985) * 局部回归 (3)R-光滑 定义得分函数 其中J是定义在(0, 1)上的非减函数，满足J(1-s)=J(s) 用 来估计F(y|x)，则 应该粗略地接近0 对于 ，则 Cheng and Cheng(1986)提出的R-估计： * 样条回归 设m(x)在[a, b]连续可微，且二阶导数平方可积 考查形式 其中 为粗糙惩罚 1. 光滑样条 * 样条回归 定义一组样条基函数： 注意，这里样条基函数可以是其他样条基 如: B样条基(吴喜之译(2008)) 样条 * 样条回归 将前面的优化问题写成矩阵形式： 其中 上述问题的最优解 其中 * 样条回归 下面的图利用的是B样条基函数， * 样条回归 下面的图利用的是B样条基函数， * 样条回归 下面的图利用的是B样条基函数， * 正交光滑 1.正交多项式回归 回归函数 其中 是正交基函数，如Laguerre, Legendre正交多项式 正交基满足 系数 系数估计 如 * 正交光滑 回归函数估计 写成线性光滑器： * Legendre正交多项式 正交光滑 * 正交光滑 2. Fourier 级数光滑 在实际中，将无穷用有限值r替换，r称为截断点，相当于光滑参数 是正交cosine基空间 系数 系数 的估计 其中 * 正交光滑 m(x)的估计 将 代入，得 其中 可以看到上面的估计与G-M估计有相同的表达形式，都为卷积形式，只是核函数不相同 * 正交光滑 另外一种的Fourier估计 一般要求： 同样可以写成卷积形式： 其中 关于权函数选取可以是满足前面条件任意的权函数 * 正交光滑 常见的权函数 ①. Fejér权： ② Rogosinski权： ③特征权: 若令n-1=r,则 φK是K的特征函数，K是关于原点对称的连续概率密度函数 * 正交光滑 3.小波回归(wavelet regression) 具有空间适应性，是一种适应性估计，一般对信噪比很大的数据可以很好的拟合 其中 在实际中，可以这样近似： 其中： * 正交光滑 小波基函数： Haar父小波 母Haar小波 * 正交光滑 函数集 是 上的正交基 父小波： 水平1： 水平2： 水