非参数半参数模型.ppt

非参数与半参数模型 The basic idea of nonparametric inference is to use data to infer an unknown quantity while making as few assumptions as possible. 主要内容 核密度估计 局部方法 核回归 局部线性回归 变系数回归 半变系数回归 部分变系数回归 全局方法 样条回归 多元非参数模型 Cornwell与Rupert数据 如何刻画随机变量的特征？ 女性（对数）工资 男性（对数工资） Min. 1st Qu. Median Mean 3rd Qu. Max. 4.605 5.958 6.261 6.255 6.562 7.279 Min. 1st Qu. Median Mean 3rd Qu. Max. 5.017 6.458 6.745 6.730 6.976 8.537 直方图 随机样本：x1,x2,…,xn 直方图的构造 确定原点x0，将数轴分割为宽度为h的区间(bin) 数出落在每个区间的观察值个数，记为nj 用nj除以n，再除以h，得到 对每个区间，绘制高为fj ，宽为h的柱形图 直方图中密度的一般表示 如何理解这个密度估计？ 有什么问题？ 如何改进？ LWAGE的直方图 h对直方图的影响是什么？ 直方图的统计性质 无偏？ 直方图密度估计的近似偏误 直方图密度估计的偏误受什么影响？ 直方图密度估计的方差 直方图密度估计的方差受什么影响？ 直方图密度估计的均方误差 逐点均方误差 积分均方误差 最优带宽 对于标准正态分布， h0≈3.5n-1/3 原点的影响 不同原点的平均直方图 直方图vs核密度估计 直方图密度估计的两大局限 最优带宽h不易解决 原点的影响 即使解决了原点问题，直方图仍然有缺点 区间内每个点有相同的密度 估计的密度函数不连续 解决方法：核密度估计 没有原点问题 最优带宽得到了较好的解决 收敛速度更快 由直方图到核密度估计 直方图 核密度 核密度估计 核函数K(u) 通常取对称单峰的概率密度函数 且满足limu→∞K(u)=0 核函数 核函数 K(u) 均匀(Uniform) 三角(triangle) Epanechnikov 二次权重(quartic/biweight) 三次权重(triweight) 高斯(Gaussian) 余弦(cosine) 核密度估计的一般形式 LWAGE的核密度估计 h对核密度估计的影响是什么？ LWAGE的核密度估计（续） 核函数对核密度估计的影响是什么？ 核密度估计的统计性质 可以证明，对于对称核函数，有： f(t) 核密度估计的均方误差 最优带宽 光滑参数的确定-plug in 如果变量服从正态分布 光滑参数的确定-Cross-validation 对于任意分布 LWAGE的核密度估计（续） 置信区间 lwage的密度函数及其置信区间 非参数回归 y = m(x) +ε m(x)=E(Y|X=x) E(ε |X=x)=0,Var(ε |X=x)=σ2(x) 目标:m(x)的估计与推断 参数模型关注参数的估计与推断 基本方法：局部光滑 对于x0, m(x0) = ∑i wi(x0 |x)yi ols： 局部常数拟合 Nadaraya-Watson估计 Nadaraya-Watson估计的矩阵表示 lwage~ed 模拟：边界效应 Nadaraya-Watson估计的渐近性质 带宽h对回归函数估计 偏差的影响是？ Nadaraya-Watson估计的渐近性质（续） 带宽h对回归函数估计 方差的影响是？ 最优带宽 使得逐点均方误差最小的h 使得积分均方误差最小的h N-W估计的置信区间 Lwage~ed的N-W估计及其置信区间 N-W估计的推导 适用于随机设计 N-W估计的加权最小二乘估计表达 N-W估计与加权最小二乘估计 本质是什么？ 可作何改进？ 局部多项式估计 局部多项式估计的矩阵表达 与经典OLS的区别？ 局部多项式估计的残差估计 局部多项式估计的统计性质 不存在边界效应！ 局部线性估计 局部多项式估计的特例：p=1 局部线性估计的统计性质 局部多项式拟合中多项式阶数的选择 阶数高低的影响 高阶的多项式会使估计的偏误减小，但可能由于引入更多的参数而导致较大的方差 阶数奇偶性的影响 由偶次多项式变为高一阶的奇次多项式时，渐近方差保持不变 由奇次多项式变为高一阶的偶次多项式时，渐近方差会增加 如果主要目的是估计回归函数，应采用奇次多项式，同时为了使估计的方差最小，局部线性逼近是估计回归函数