Parzen窗估计与KN近邻估计实验报告材料.pdfVIP

实用文案 模式识别实验报告 题目 ：Parzen 窗估计与 KN近邻估计 装 订 线 学 院 计算机科学与技术 专 业 xxxxxxxxxxxxxxxx 学 号 xxxxxxxxxxxx 姓 名 xxxx 指导教师 xxxx 20xx 年 xx 月 xx 日 Parzen 窗估计与 KN近邻估计 一、实验目的 标准文档 实用文案 本实验的目的是学习 Parzen 窗估计和 k 最近邻估计方法。在之前的模式识别研究中， 我们假设概率密度函数的参数形式已知，即判别函数 J(.) 的参数是已知的。本节使用非参 数化的方法来处理任意形式的概率分布而不必事先考虑概率密度的参数形式。 在模式识别中 有躲在令人感兴趣的非参数化方法， Parzen 窗估计和 k 最近邻估计就是两种经典的估计法。 二、实验原理 1. 非参数化概率密度的估计 对于未知概率密度函数的估计方法， 其核心思想是： 一个向量 x 落在区域 R 中的概率可 表示为： 其中， P 是概率密度函数 p(x) 的平滑版本，因此可以通过计算 P 来估计概率密度函数 p(x) ，假设 n 个样本 x1,x2, …,xn ，是根据概率密度函数 p(x) 独立同分布的抽取得到， 这样， 有 k 个样本落在区域 R 中的概率服从以下分布： 其中 k 的期望值为： k 的分布在均值附近有着非常显著的波峰，因此若样本个数 n 足够大时，使用 k/n 作为 概率 P 的一个估计将非常准确。假设 p(x) 是连续的，且区域 R 足够小，则有： 如下图所示， 以上公式产生一个特定值的相对概率， 当 n 趋近于无穷大时， 曲线的形状 逼近一个δ函数，该函数即是真实的概率。公式中的 V 是区域 R所包含的体积。综上所述， 可以得到关于概率密度函数 p(x) 的估计为： 标准文档 实用文案 在实际中，为了估计 x 处的概率密度函数，需要构造包含点 x 的区域 R1,R2, …,Rn 。第 一个区域使用 1 个样本，第二个区域使用 2 个样本，以此类推。记 Vn 为 Rn 的体积。 kn 为 落在区间 Rn 中的样本个数，而 pn (x) 表示为对 p(x) 的第 n 次估计： 欲满足 pn(x) 收敛： pn(x) → p(x) ，需要满足以下三个条件： 有两种经常采用的获得这种区域序列的途径，如下图所示。其中“ Parzen 窗方法”就 是根据某一个确定的体积函数， 比如 Vn=1/ √n 来逐渐收缩一个给定的初始区间。 这就要求 随机变量 kn 和 kn/n 能够保证 pn (x) 能收敛到 p(x) 。第二种“ k- 近邻法”则是先确定