模式识别课件Ch4ok.pptVIP

Chapter 4: 非参数估计 引言 概率密度的估计 Parzen窗方法 kn-近邻估计 4.1 引言 概率密度函数的形式未知 给出的概率密度的形式很少符合实际情况。特别地，所有经典的密度函数的参数形式都是单模的（只有单个局部极大值），而现实中遇到的常常是多模的情况。 非参数估计能处理任意的概率分布，而不必假设密度的参数形式已知。 两种非参数估计方法： 从训练样本中估计P(x | ?j )--Parzen窗方法 省略概率估计，直接估计后验概率P(?j | x)--kn-近邻方法 4.2 概率密度的估计 核心思想：一个向量x落在区域R中的概率为 P是p(x)的平滑了的（或取平均的）版本。假设n个样本x1,x2,…,xn都是根据概率密度函数p(x)独立同分布的抽取。其中k个样本落在区域R中的概率服从二项式定理： k的期望值为 E(k) = nP 二项式分布在均值附近有非常显著的波峰。比值k/n就是概率P的一个很好估计。 如果p(x)连续，且区域R足够小，以至于在这个区域中p几乎没有变化 收敛条件 V固定，n充分大，k增加，比值k/n在概率上收敛，但只能得到p(x)的空间平滑后的版本 V趋近于0，n固定，可能导致k=0，则p(x)≈0（或k≠0，p(x)→∞），毫无意义 实际上，由于训练样本个数总是有限，V不能取得任意小 接受事实：k/n总是有一定变动，且p(x)总是存在一定程度的平滑效果 如果能够获得无限多的训练样本，那么在理论上如何克服上述局限性？ 为了估计点x处的概率密度函数，构造一系列包含点x的区域：R1, R2,…。第一个区域使用1个样本，第二个区域使用2个样本，等等。 记Vn为区域Rn的体积，kn为落在区域Rn中的样本个数，而pn(x)表示对p(x)的第n次估计： 如果pn(x)能够收敛到p(x)，那么必须满足以下3个条件： 有两种经常采用的获得这种区域序列的途径： 根据某一个确定的体积函数（Vn = 1/?n）来逐渐收缩一个给定的初始区域-- Parzen窗方法 kn为n的某个函数（kn = ?n），体积Vn逐渐生长，直至能包含进x的kn个相邻点-- kn-近邻方法 这两种方法最终都能收敛，但很难预测它们在有限样本情况下的效果。 4.3 Parzen窗方法 假设Rn是d维超立方体，hn是超立方体一条边的长度 定义窗函数： ?(u)表示一个中心在原点的单位超立方体 如果xi落在以x为中心、体积为Vn的超立方体中，那么 ，否则为0 超立方体中的样本个数 对p(x)的估计是一系列关于x和xi的函数的平均，即每一个样本依据它离x的远近不同而对结果作出不同的贡献。 pn(x)是一个合理的概率密度函数，只要?(u)满足 ?(u)≥0 ∫?(u)du=1 窗函数的选择 窗宽度hn对pn(x)的影响 定义 pn(x)看作一个平均值 若hn很大，δn的幅度就很小。pn(x)变成n个宽度较大且函数值变化缓慢的函数的叠加，使估计结果的分辨率降低。 若hn很小，δn的幅度就很大。pn(x)变成n个以样本为中心的尖峰函数的叠加，使估计的统计变动很大。在hn→0的极端情况，δn趋于一个以xi为中心的δ函数。 例子 pn(x)是各个以样本点为中心的高斯函数的叠加 中心在第一个样本点处的一个单个的高斯函数，无法体现实际分布的均值，也没有对应的方差 在基于Parzen窗估计的分类器中，对每一类别都独立的估计概率密度，并且根据“最大后验概率”的原则进行分类。 Parzen窗分类器的决策区域和窗函数的选择有关。 Parzen窗方法的实现：概率神经网络 假设要实现一个Parzen估计，共有n个d维样本，随机地从c个类别中选取 输入层由d个输入单元组成 每一个输入单元与n个模式单元相连 输入层单元与模式层单元之间是全连接的 每一个模式单元都与c个类别中的一个相连 每一个类别单元计算与之相连的各模式单元的输出结果的和 模式层单元与类别层单元之间是稀疏连接的 PNN网络的训练算法 1.训练样本集中的每一个样本x都被归一化为单位长度 2.将经过归一化的第一个样本置于输入层单元上 3.初始化连接输入单元和模式层第一个单元的权为: w1 = x1 4.在模式层的第一个单元与类别层中代表x1所属类别的那个单元之间建立一个连接 5.对剩下的各个模式单元重复上述过程，即wk = xk (k = 1, 2, …, n) PNN网络的分类算法 1.归一化测试样本x，并将其提供给输入层 2.每一个模式层单元都计算内积，得到净激活 并产生netk的一个非线性函数 3.每一个类别层单元把与它相连接的模式层单元的结果