第14讲基于非参数的技术的分类方法.pptVIP

第16讲 基于非参数技术的分类方法 要点: 基本问题 非参数化方法的两种基本思路 类条件概率密度的估计 后验概率的估计 基本问题 类条件概率密度p(X|?j)对基于统计决策的分类来说是非常关键的，如果已知其参数形式，就可以用极大似然估计和贝叶斯估计等方法估计p(X|?j)。 如果事先不知道对p(X|?j)的数学形式，仅仅给定一个充分大的独立抽取的样本集，那么应该怎样估计p(X|?j)？或者怎样估计后验概率p(?j|X)？ 返回 非参数化方法的两种基本思路 1.如何从训练样本中估计类条件概率密度p(X|?j)。在结果可靠时，可以把估计结果当作真正的p(X|?j)。 2.如何利用训练样本直接估计后验概率p(?j|X)？在结果可靠时，可以直接利用p(?j|X)进行分类。 返回 类条件概率密度的估计 基本思想及其数学描述 前提条件和约束关系 Parzen窗方法 kn-近邻估计方法 返回 基本思想 利用样本落在某点邻近区域中的频率除以该区域的体积来估计该点的概率密度。 返回 基本思想的数学描述 设p(X)表示待估计的连续概率密度，样本集D={X1,X2,…,Xn}根据p(X)独立抽取: 计算一个样本落在某区域R中的概率P 计算k个样本落在区域R中的概率Pk 用频率和体积估计概率密度p(X) 返回 计算单样本落在某区域中的概率 一个样本落在区域R中的概率P为 计算示意图 返回 区域概率示意图 返回 计算多样本落在某区域中的概率 k个落在区域R中的概率为 其中k的期望值为 概率P=E(k)/n?k/n 返回 用频率和体积估计概率密度 如果包含X的区域R足够小，则有： 如果定义样本落在R中的频率 ，那么有: 示意图 返回 概率密度估计示意图 返回 前提条件 概率密度的估计为： 如果样本数n固定，那么当V充分小时，落在区域中的样本数k将为零，从而p(X)?0，因此需要在k、n和V之间建立一定的约束关系。 返回 约束关系 构造一系列包含X的区域Rn(n=1,2,…)，对Rn使用n个样本，Vn表示Rn的体积，kn表示落在Rn中的样本个数，pn (X)表示对p(X)的第n次估计: 如果要求pn (X)表示p(X)，就必须满足3个条件。 返回 3个条件 (1) : 保证区域均匀收敛和平均估计P/V收敛于 p(X)。 (2) : 只对p(X)?0的点有意义，可使频率在概率的意义上收敛于概率P。 (3) : 是pn(X)收敛于p(X)的一个必要条件。 返回 Parzen窗方法 选择区域序列Rn的方法 选择窗函数?(u)的方法 pn(X)的计算及其冲击表示 pn(X)的基本性质 Parzen窗方法举例 返回 选择区域序列Rn的方法 根据某一个确定的体积函数,比如 来逐渐收缩一个给定的初始区域。 通常Rn取为d维超立方体，用hn表示超立方体的边长，那么其体积就是： 返回 体积函数示意图 返回 选择窗函数的方法 窗函数?(u)必须满足下面两个条件： (1) ?(u)?0 (2) 常用窗函数有： 方窗函数，三角窗函数，正态窗函数 返回 方窗函数 方窗函数?(u)表示一个以原点为中心的单位超立方体 返回 三角窗函数 返回 正态窗函数 返回 pn(X)的计算 如果取?(u)为方窗函数，取Rn为d维超立方体，那么有： 因此落在超立方体中的样本个数是： 从而 返回 pn(X)的冲击表示 如果定义冲击响应函数(或狄拉克函数)为 则可以把pn(X)表示成冲击响应的叠加： 返回 pn(X)的基本性质 (1) pn(X) ?0 且 试证明(1) 如果用 和 表示pn(X)的均值和方差，那么在一定条件下： (2) 且 试证明(2) 返回 证明(1) 返回 pn(X)收敛到p(X)应满足的条件 (1) (2) (3) (4) 返回 证明(2) 返回 Parzen窗方法举例 对混合双均匀分布的估计 对一维正态分布的估计 对二维正态分布的估计 对混合三角均匀分布的估计 返回 对混合均匀分布的估计 设 ，假定待估计的概率密度函数是两个均匀分布密度函数的混合，即： 窗函数为正态窗函数，h1取0.25、1和4三个