第3章_概率密度函数的估计_非参数估计.pptVIP

模 式 识 别 第3章 概率密度函数的估计 总体分布的非参数估计 前面的方法 密度函数的形式已知 存在问题 密度函数的形式常常未知 一些函数形式很难拟合实际的概率密度 经典的密度函数都是单峰的，而在许多实际情况中却是多峰的 总体分布的非参数估计 非参数估计 处理问题 直接用已知类别样本去估计总体密度分布p(x|ωi) 需要计算p(x|ωi)的每个点的值 方法 ①?用样本直接去估计类概率密度p(x|ωi)以此来设计分类器, 如窗口估计 ②?用学习样本直接估计后验概率p(ωi|x)作为分类准则来设计分类器如k近邻法. 总体分布的非参数估计 概率密度函数估计的基本思想 一个随机变量x落在区域R的概率为P 总体分布的非参数估计 估计概率P 假设有N个样本X=(x1, x2,… xN)T都是独立同分布的，概率密度函数是p(x)。 N个样本中有k个落入在R内的概率符合二项分布，即: 其中P是样本x落入R内的概率 Pk是k个样本落入R内的概率 总体分布的非参数估计 估计概率P 则随机变量k的数学期望: E(k)=NP k可以直接从训练样本估计得到 根据N个训练样本中落入区域R的样本数k,可得到概率P的一种估计，为: 总体分布的非参数估计 估计概率p(x) 设p(x)在R内连续变化 当R逐渐减小的时候,小到使p(x)在其上 几乎没有变化时，则: 总体分布的非参数估计 估计概率p(x) 密度p(x)的估计: 上式就是对x点概率密度p(x)的估计值 总体分布的非参数估计 p(x)估计值的收敛性讨论 当V固定的时候 N增加, k也增加, 当 时， 则k/N在概率上收敛 但我们只能得到p(x)的空间平均估计， 即 总体分布的非参数估计 p(x)估计值的收敛性讨论 N固定,体积V变小 当 时,如果k=0 当 时,如果k≠0 总体分布的非参数估计 p(x)估计值的收敛性讨论 考虑无限多样本情况 构造一串包括x的区域序列R1,R2,…RN. 对R1采用1个样本进行估计， 对R2采用2个样本进行估计， …… VN是RN的体积，KN是N个样本落入VN的样本数则 总体分布的非参数估计 p(x)估计值的收敛性讨论 若pN(x)收敛于p(x)应满足三个条件： 总体分布的非参数估计 两种非参数估计方法 Parzen窗口估计 使得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，确保估计值的收敛 例如: kN近邻估计 让kN为N的某个函数，而VN的选取是使相应的RN正好包含x的kN个邻域 例如: Parzen窗口估计 Parzen窗口估计 Parzen窗口估计 保证估计量pN(x)为密度函数而对窗口函数的限制 Parzen窗口估计 窗函数 d=1，窗口为一线段 d=2，窗口为一平面 d=3，窗口为一立方体 d3，窗口为一超立方体 窗函数选择 Parzen窗口估计 窗函数宽度对幅度的影响 Parzen窗口估计 窗函数宽度对估计结果的影响 Parzen窗口估计 估计量pN(x)的性质 希望达到 Parzen窗口估计 估计量pN(x)的性质 限制条件 (1) pN(x)在x点连续 (2)窗函数满足 (3)窗宽受下列条件约束 Parzen窗口估计 kN近邻估计 窗函数法问题(对hN的选择问题) 若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。 若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化 kN近邻法的思想 体积是数据的函数，而不是样本数N的函数 根据KN选择hN KN是N的函数 kN近邻估计 kN对估计结果的影响 kN近邻估计 * * 因此用非参数估计 ^ 本章只考虑第一种方法 p(x)是要求的x的概率密度 概率P是p(x)在区域R上平滑或平均后得到的概率 我们可以通过估计P来估计p(x)的平滑值 P R (V足够小) 真实概率是 0.7 横坐标是k/N 纵坐标是概率分布 ^ 而不是p(x)。 必须让体积V趋于零。 所以如果样本有限，则估计值一定有方差。 密度的第N次估计： ^ Parzen窗口估计 使得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，确保估计值的收敛 KN近邻估计 让kN为N的某个函数，而VN的选取是使相应的RN正好包含x的kN个邻域 假设RN为一个d维的超立方体，hN为超立方体的长度 ∴超立方体体积为： 定义窗函数 落入超立方体的样本数为: 代入，得Parzen窗法的基本估计公式 ^ 窗函数越宽，幅度越小 二维正态对称Parz