第4章概率密度函数的非参数估计.pptVIP

常用的距离函数 街市距离：(Manhattan Distance) 常用的距离函数 明氏距离：(Minkowski Distance) 常用的距离函数 马氏距离：(Mahalanobis Distance) 常用的距离函数 角度相似函数：(Angle Distance) 常用的距离函数 海明距离：(Hamming Distance) x和y为2值特征矢量： D(x,y)定义为x,y中使得不等式 成立的i的个数。 最近邻分类器的简化 最近邻分类器计算的时间复杂度和空间复杂度都为O(dn)，d为特征维数，通常只有当样本数n非常大时，分类效果才会好。 简化方法可以分为三种： 部分距离法； 预分类法； 剪辑近邻法。 部分距离法 定义： Dr(x,y)是r的单调不减函数。令Dmin为当前搜索到的最近邻距离，当待识别样本x与某个训练样本xi的部分距离Dr(x,xi)大于 Dmin时， Dd(x,xi)一定要大于Dmin ，所以xi一定不是最近邻，不需要继续计算Dd(x,xi) 。 预分类（搜索树） 预分类（搜索树） 在特征空间中首先找到m个有代表性的样本点，用这些点代表一部分训练样本； 待识别模式x首先与这些代表点计算距离，找到一个最近邻，然后在这个最近邻代表的样本点中寻找实际的最近邻点。 这种方法是一个次优的搜索算法。 剪辑近邻法 最近邻剪辑算法 begin initialize j = 0;D = data set; n = number of training samples construct the full Voronoi diagram of D do j ? j + 1; Find the Voronoi neighbors of Xj if any neighbor is not from the same class as Xj then mark Xj until j = n Discard all points that are not marked Construct the Voronoi diagram of the remaining samples end 剪辑近邻法 剪辑前 剪辑后 RCE网络 RCE网络的训练算法 begin initialize j=0, n=#patterns, ε=small pattern, λm=max radius，aij=0 do j?j+1 train weight: wj=xj if then aji = 1 find nearest point not in ωi: set radius: until j = n RCE网络的分类算法 begin initialize j=0, k=0, x, do j?j+1 if then until j = n if category of all is the same then return the label else “ambiguous” label * 3学时 * A为模式层到类别层的连接权值 * PNN中隐含了类先验概率的信息，所以累加结果就是后验概率的估计 * 可以把RBF看作PNN的简化版本，将PNN中模式层中相近的神经元用一个代替，而向类别层连接的权值则要由原来的1变为k。 * 最后一种方法类似于GMM，也可以采用EM算法训练。 * 公式解释一下 * 还可以参考25叶的土 * 距离与内积的关系 * 可以给出距离（范数）的定义 * 讨论一下1范数，2范数，m范数以及无穷范数 模式识别 – 概率密度函数的非参数估计 模式识别 – 概率密度函数的非参数估计 第四章 概率密度函数的非参数估计 4.1 基本思想 4.1 基本思想 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计： 相当于用R区域内的平均性质来作为一点x的估计，是一种数据的平滑。 有效性 当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 收敛性 构造一系列包含x的区域R1, R2, …，对应n=1,2,…，则对p(x)有一系列的估计： 当满足下列条件时，pn(x)收敛于p (x)： 区域选定的两个途径 Parzen窗法：区域体积V是样本数n的函数，如： K-近邻法：落