非参数统计读书报告.pdf

非参数统计读书报告

——第三章非参数密度估计

2013级应用统计硕士

卞晨晔-201311331

1.1引言

直方图对我们来说不只是一种直观的图形工具，而且可以用来估计未知的概

率密度函数（probabilitydensityfunction,pdf）。但是，用直方图作估计有

一些缺陷，因此将引入一种更加有效的方法，即核密度估计（kernaldensity

estimation）。

回顾以前内容可以知道，直方图的形状由两个参数决定：带宽h和初始位置

x通过平均转移的直方图可以消除对初始位置的依赖，但是对于带宽h的选择，

0。

仍然没有找到切实可行的方法。对于核密度估计而言，不会遇到初始位置的选择

问题，但是仍然有如何选择带宽的问题。本节内容会对这一问题作出更好的解答。

1.2起源

回顾上节内容，直方图的直接想法是用下面的式子作为f(x)的估计：

1

#{落入一个包含x的小区间之内的观测值个数}

n*带宽

本节所介绍的核密度估计则采用了一种更加合理的想法估计f(x):

1

#{落入一个x附近的小区间之内的观测值个数}（1.1）

n*带宽

注意到二者的细微差别在于核密度选取的区间是x附近的小区间，因而不

赖于初始位置x。另外一个差别是，我们选择的带宽将是2h，即我们考虑的区

0

间是这种形式的：[x-h,x+h)。

于是我们得到下面的估计式：

^1

f(x)#{X[xh,xh)}（1.2）

h2hni

为了使表达式更加明显，我们引入一个权重函数，称之为核函数，例如下面

的均匀核函数：

1

1

K(u)I(|u|1),（1.3）

2

其中，u(xX)/h.均匀核函数对于每一个与x的距离不超过h的观测值，

i

都赋予相同的权重1/2.

于是我们可以把（1.2）式重新写成如下形式：

^1nxX

f(x)K(i)（1.4）

hnhh

i1

1n1I(|xXi|1)（1.5）

nh2h

i1

注意到（3.5）式中，每个观测值都被赋予相等的权重。事实上，更为合适

的方法是对于不同的观测值分配不等的权重，对于距离x较近的观测值赋予较大

的权重，而对于那些远离x的观测值则赋予较小的权重。这可以同过选取适当的

核函数实现。例如，考虑如下的估计表达式：

^13nxXxX（1.6）

f(x){1(i)}I(|2i|1)

h2nh2hh

i1

1nxX