概率密度函数的非参数估计.pptVIP

4.1 基本思想 4.2 Parzen窗方法 4.3 近邻分类器 4.4 本章小结 4.1 基本思想 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计： 有效性 当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 构造一系列包含x的区域R1, R2, …，对应n=1,2,…，则对p(x)有一系列的估计： 区域选定的两个途径 Parzen窗法：区域体积V是样本数n的函数，如： 4.2 Parzen窗方法 定义窗函数 1维数据的窗函数 概率密度函数的估计 超立方体中的样本数： 概率密度估计： 窗函数的要求 上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。 只要满足如下条件，就可以作为窗函数： 窗函数的形式 hn称为窗的宽度 识别方法 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 4.3 近邻分类器 后验概率的估计 Parzen窗法估计的是每个类别的类条件概率密度 ，而k-近邻法是直接估计每个类别的后验概率 。 将一个体积为V的区域放到待识样本点x周围，包含k个训练样本点，其中ki个属于ωi类，总的训练样本数为n，则有： k-近邻分类器 k-近邻分类算法 设置参数k，输入待识别样本x； 计算x与每个训练样本的距离； 选取距离最小的前k个样本，统计其中包含各个类别的样本数ki； k-近邻分类，k=13 最近邻规则 分类规则：在训练样本集中寻找与待识别样本x距离最近的样本x，将x分类到x所属的类别。 最近邻规则相当于k=1的k-近邻分类，其分类界面可以用Voronoi网格表示。 Voronoi网格 距离度量 距离度量应满足如下三个性质： 非负性： 自反性： 当且仅当 对称性： 三角不等式： 常用的距离函数 最近邻分类器计算的时间复杂度和空间复杂度都为O(dn)，d为特征维数，通常只有当样本数n非常大时，分类效果才会好。 简化方法可以分为三种： 部分距离法； 预分类法； 剪辑近邻法。 定义： 预分类（搜索树） 在特征空间中首先找到m个有代表性的样本点，用这些点代表一部分训练样本； 待识别模式x首先与这些代表点计算距离，找到一个最近邻，然后在这个最近邻代表的样本点中寻找实际的最近邻点。 这种方法是一个次优的搜索算法。 剪辑近邻法 估计错误率的基本思想引出了“剪辑近邻法”： 如果将样本集分成两个独立的集合——设计集和考试集，并用设计集设计分类器，用考试集估计错误率，在两集合独立的条件下，对错误率的估计应该较为准确。 最近邻剪辑算法 包括剪辑、分类两部分。 利用K-近邻法 重复剪辑近邻法 4.4 本章小结 32 最近邻分类器的简化 Dr(x,y)是r的单调不减函数。令Dmin为当前搜索到的最近邻距离，当待识别样本x与某个训练样本xi的部分距离Dr(x,xi)大于 Dmin时， Dd(x,xi)一定要大于Dmin ，所以xi一定不是最近邻，不需要继续计算Dd(x,xi) 。 33 部分距离法 34 35 预分类（搜索树） 36 37 剪辑近邻法 38 第四章 概率密度函数的非参数估计 内容纲要 研究目的和意义 第四章 概率密度函数的非参数估计 第四章 内容纲要 02 03 第四章 概率密度函数的非参数估计 04 4.1 基本思想 第四章 概率密度函数的非参数估计 相当于用R区域内的平均性质来作为一点x估计，是一种数据的平滑。 05 4.1 基本思想 06 4.1 基本思想 当满足下列条件时，pn(x)收敛于p (x)： 07 收敛性 4.1 基本思想 K-近邻法：落在区域内的样本数k是总样本数n的函数，如： 08 区域选定的两个途径 09 Parzen窗法和K-近邻法 10 第四章 概率密度函数的非参数估计 11 4.2 Parzen窗方法 12 13 14 15 16 窗函数的宽度对估计的影响 17 窗函数的宽度对估计的影响 18 19 第四章 概率密度函数的非参数估计 20 4.3 近邻分类器 21 22 23 24 25 欧几里德距离：(Eucidean Distance) 26 常用的距离函数 街市距离：(Manhattan Distance) 27 常用的距离函数 明