非参数统计 非参数密度估计.ppt

第八章 非参数密度估计 8.1 非参数密度估计 8.2 核密度估计 核密度估计的定义 常用核函数 以高斯核函数为例 以高斯核函数为例 带宽对估计量的影响 Parzen窗函数为核函数 直方图是最基本的非参数密度估计。 假定有数据{x1,x2,…,xn}, 将它由小到大排序，得到数据覆盖的区间(a, b)，对该区间等间距地分为k组，记为I1,I2,…,Ik，计算Ii中的频率ni/n，则密度估计为： 其中，hn是归一化参数，表示每组的组距，称为带宽（窗宽）。 注意：针对连续型的总体X. 鲑鱼和鲈鱼的身长(260条) 例8.1 鲈鱼比鲑鱼的身长要长。 hist(A[,1], 20) 推广直方图的密度函数定义。X∈Rd 1）若V很小，密度值局部变化很大，呈现多峰不稳定的特点； 2）若V较大，从而使估计过于平滑。 如何在稳定与过度平滑之间寻找平衡？ 方法（1）固定体积不变；（2）固定ni不变； 核估计和k-近邻估计。 设区域R是Rd空间上的d维立方体, 其体积为Vn, h是R的边长, 对任意的x={x1,x2,…,xn}, 定义x的邻域函数: 落入x邻域的样本数 称为Parzen窗密度估计 定义8.1 假设数据x1,x2,…,xn取自连续分布p(x), 定义核密度估计 只要核函数满足: 本节主要讲一维的密度估计。 用S-Plus编程计算密度估计值. 1) 调用数据文件 A-read.table(E:\\各种电子课件\\非参数统计\\data\\newfish.txt,header=T,sep=,) 2) 建立高斯函数文件 Ga-function(x,h,A) {(1/260*h)*sum((1/sqrt(2*pi))*exp(-0.5*((x-A[,1][1:260])/h)^2))} 3) 调用函数文件 source(d:\\S文件\\Ga.s) 4) 求函数值 z-Ga(1,1,A) z [1] 05) 画图 x-seq(1,26,length=52) z-rep(0,52) for(i in 1:52) {z[i]-Ga(x[i],1,A)} (首先找到A[,1]向量中的最小和最大值,1.09和25.37) plot(x,z,type=l) h=1 h=2 h=0.2 h=5 当带宽h=0.2时,密度函数曲线比较粗糙,噪声很多; 当带宽h=1时,密度函数曲线比较平滑,较为理想; 而带宽h=5时,密度函数曲线最平滑的,但信息损失很多; 如何选择合适的带宽,是核函数密度估计的关键. 带宽对估计量的影响 考虑估计的均方误差. 均方误差 分析: 带宽hn越小, 核估计的偏差越小, 但方差会增大. 带宽hn越大, 核估计的偏差大, 但方差会变小. 说明hn的变化, 不可能同时使核估计的偏差和方差变小. 只有同时使两者达到一种平衡. 实际上, h的选取要根据数据和密度估计的情况不断调整. 模式分类问题 一些实际问题: 鉴定某河流的污染程度; 通过检查某些指标, 诊断某人是否得了某种疾病; 设备的故障诊断问题; …… 1. 假设ω1——鲑鱼， ω2——鲈鱼，它们的先验概率为： 应用密度估计对数据进行分类 2. 分别估计鲑鱼和鲈鱼的概率密度： 3. 归类原则： (贝叶斯公式) 分类问题 1 1 1 0 1 0 0 0 1 0 1 1 0 0 1 0 0 1 1 0 0.177 0.269 0.477 0.677 0.454 0.677 0.414 0.762 0.077 0.963 0.823 0.731 0.523 0.323 0.546 0.323 0.586 0.238 0.923 0.037 19.6 22.3 14.07 8.5 17.3 7.6 6.3 6.5 22.1 2.0 113 112 250 219 123 197 170 32 92 137 判断类别 实际类别 P(ω2|x) P(ω1|x) 数值 序号 分类问题 优缺点评价： 样本量较大，才能保证一定的精度； 分类精度的评价; 分类方法. k-近邻估计 在核密度估计方法的基础上，让体积随样本点的密集性 发生改变。 当样本点密集处，选取体积小； 当样本点稀疏时，选取体积大。 程序实现 1. 产生函数R(x,k) knear-function(A,x,k) { na-nrow(A) or-1:na dis-NULL for(i in 1:na) {dis-c(dis,(abs(x-A[i,1])))} ra-rank(dis) find.k-or[rak+1] knear-max(abs(A[find.k,1]-x)) return(knear) } 程序实现 2. k-近邻密度估计