3模式识别原理课件-第4章概率分类法.ppt

同理由式(4-57) 有： 在R2区域内至少应保证 即 （4-58） 即 （4-59） 得决策规则： 若 ，则 （4-57） 若 ，则 当 时， X为 的函数，可以求出 ， 即为两类模式的判别界面。 由于 和 是已知的，所以聂曼-皮尔逊决 策最终归结为寻找似然比阈值 。 求解μ值从常数P2(e) 入手，这时由 有 即 是P2(e)的函数，通过查标准正态分布表可以求得 的值。 ① 表中末行系函数值： ?(3?0)?(3?1)?……??(3?9)? ③ 纵向值：λ的整数部分 和小数点后第一位。 ④ 横向值：λ的小数点 后第二位。 ② 表中为λ ≥0时， Φ(λ)的值。 1．标准正态分布表 复习 2. 正态分布的概率计算 ① 左边阴影部分的面积 表示为概率。即分布函数 ④ 在任一区间 内取值的概率： ② 当 时， ; ③ 例 利用标准正态分布表，求标准正态分布在下面区间内取值 的概率。 (1) (－0.5，1.5); (2) (－1.96，1.96); (3) (－3，3) 解：(1) (2) (3) 例4.4 一两类问题，模式分布为二维正态，其分布参数 协方差矩阵为C1=C2=I，设P2(e)=0.046，求聂曼-皮尔逊决策规则的似然比阈值μ和判别界面。 i=1，2 解：(1) 求类概率密度函数 正态分布的类概率密度函数为 已知 ， ，又计算得： (2) 求似然比 若 ，则 (3) 求判别式 决策规则： 两边取自然对数，有 得判别式 若 ，则 （4-62） (4) 求似然比阈值 由 与 的关系有 分离积分，向正态分布表的标准形式 变换，有 令 有： 查正态分布数值表，要求P2(e)=0.046。 ∴ 在表上查 。 当 时， 。 对应λ=？ 对应λ=1.69 ，即 有 计算得 由（4-62）式得判别界面： 若 ，则 （4-62） 图4.12 聂曼-皮尔逊决策结果 总结分析：研究算法的三种思路 ② 使风险（错误引起的损失）最小： →最小平均风险Bayes决策 →(0-1)损失最小风险Bayes决策 ① 使总错误率最小：→最小错误率Bayes决策 ③ 限制一个错误概率，追求另一个最小： → Neyman-Person决策 4.5 概率密度函数的参数估计 4.5.1 最大似然估计 两类估计方法： 概率密度函数的形式未知，直接估计概率密度函数的 方法。 已知概率密度函数的形式而函数的有关参数未知，通 过估计参数来估计概率密度函数的方法。 * 参数估计法： * 非参数估计法： 两种主要参数估计法： 最大似然估计、贝叶斯估计。 设：ωi类的类概率密度函数具有某种确定的函数形式； θ是该函数的一个未知参数或参数集。 最大似然估计把θ当作确定的未知量进行估计。 从ωi类中独立地抽取N个样本： 1. 似然函数 称这N个样本的联合概率密度函数 为相对于样本集 X N 的θ的似然函数。 ——在参数θ 下观测到的样本集X N 的概率(联合分布)密度 2. 最大似然估计 根据已经抽取的N个样本估计这组样本“最可能”来自哪个 密度函数。（“最似”哪个密度函数） 也即：要找到一个θ，它能使似然函数 极大化 。 由 求得。 θ为一维时的最大似然估计示意图 θ的最大似然估计量 就是使似然函数达到最大的估计量。 为便于分析，定义似然函数的对数为 θ的最大似然估计是下面微分方程的解： 设ωi类的概率密度函数有p个未知