3模式识别原理课件-第4章概率分类法讲义.ppt

3. 估计的步骤： * 构造一串包含X的区域R1，R2，…，RN，… * 对R1采用一个样本估计，对R2采用两个样本，…… * 假定VN是RN的体积，kN是落入RN内的样本数目， 是 p(X)的第N次估计，有 4. 为保证估计合理性应满足的三个条件 1） 2） 3） 使式右边能以概率1收敛于p(X) （4-92） 落入RN中的样本数始终是总数中的极小部分 能代表X点的密度p(X)。 5. 两种非参数估计法： Parzen窗法、 kN近邻估计法。 4.6.2 Parzen窗法 1．Parzen窗估计的基本概念 设区域RN：d维超立方体，棱长：hN，则 以原点为中心 的超立方体 当Xi落入以X为中心，体积为VN的超立方体时： 否则 落入超立方体内的样本数为 （4-95） 代入 得 —— Parzen窗法基本公式 实质： 窗函数的作用是内插，样本对估计所起的作用取决于它到X的距离。 为密度函数应满足的两个条件： 2．窗函数的选择 1）方窗函数 2）正态窗函数 3）指数窗函数 一维形式 满足条件 和 的都可以作为窗函数。 最终估计效果的好坏与样本情况、窗函数以及窗函数参 数的选择有关。 定义 有 如何选取根据经验折中考虑。 限制条件： 1）总体密度函数p(X)在X点连续； 2）窗函数满足以下条件： 3）窗函数受下列条件的约束： 保证 密度函数的性质 有 保证 有界 使 较快趋于零 随u的增加 使体积随N的增大 趋于零时，速度 低于N增加的速度 有 估计结果： 解：估计结果 * 具有一般性，适用于单峰、多峰形式。 Parzen窗法特点： * 要得到较精确的估计必须抽取大量的样本。 （一般非参数估计法的共同问题 ） 比参数估计法多得多； 样本数目随模式维数一般按指数规律增长。 4.6.3 kN -近邻估计法 基本思想： 使体积为样本密度的函数，而不是样本数N的函数。 限制条件仍然是： 例4.5和4.6中，用kN -近邻法估计的p(X) 的结果： ， ， 。 4.7 后验概率密度函数的势函数估计法 同 “非线性判别 函数”中的类似 势函数的确定方法有两种方法： 第i类判别函数的迭代算法： …… 说明 解：① 从图上可看出两类模式不是线性可分的， 选择指数型二维势函数（ ）： 结束 同理由式(4-57) 有： 在R2区域内至少应保证 即 （4-58） 即 （4-59） 得决策规则： 若 ，则 （4-57） 若 ，则 当 时， X为 的函数，可以求出 ， 即为两类模式的判别界面。 由于 和 是已知的，所以聂曼-皮尔逊决 策最终归结为寻找似然比阈值 。 求解μ值从常数P2(e) 入手，这时由 有 即 是P2(e)的函数，通过查标准正态分布表可以求得 的值。 ① 表中末行系函数值： ?(3?0)?(3?1)?……??(3?9)? ③ 纵向值：λ的整数部分 和小数点后第一位。 ④ 横向值：λ的小数点 后第二位。 ② 表中为λ ≥0时， Φ(λ)的值。 1．标准正态分布表 复习 2. 正态分布的概率计算 ① 左边阴影部分的面积 表示为概率。即分布函数 ④ 在任一区间 内取值的概率： ② 当 时， ; ③ 例 利用标准正态分布表，求标准正态分布在下面区间内取值 的概率。 (1) (－0.5，1.5); (2) (－1.96，1.96); (3) (－3，3) 解：(1) (2) (3) 例4.4 一两类问题，模式分布为二维正态，其分布参数 协方差矩阵为C1=C2=I，设P2(e)=0.046，求聂曼-皮尔逊决策规则的似然比阈值μ和判别界面。 i=1，2 解：(1) 求类概率密度函数 正态分布的类概率密度函数为 已知 ，