Bayes决策理论课件.pptVIP

引言 模式特征的不确定性 进行模式识别，首先要提取和选择模式特征，使这些特征组成的特征向量能很好地代表这个事物。但是，在实际问题中，由于技术或经济上的原因，使得提取和选择的特征不一定能准确地描述这个模式。 比如， 特征选择的不合适，特征的数量不当，特征测量的不准确，等等，使模式具有不确定性。 因此，我们应当把模式向量看成随机变量。 处理随机变量用什么方法呢？ 概率论与数理统计 1.概率 频率：如果在 n次重复试验中，事件A发生了 次，则称比值 是事件A在这n次试验中发生的频率。记作 概率：在相同条件下重复进行同一试验，如果随着试验次数n的增加，事件A的频率 仅在某个数 附近有微小变化，则称 是事件A的概论， 实际上， 是不容易得到的，常用n较大时的频率作为A的概率 2. 条件概率 设A，B是试验E的两个事件，则称 为在事件B发生条件下事件A的条件概率。 3. Bayes公式 含义：假设 是某个过程的n个事件， 是各事件出现的概率，称为先验概率。如果这个过程得到一个结果B，由于B的出现，而对各事件 的概率要做出重新认识。 证明： 假设R1是 类的决策域，R2是 类的决策域，对X分类，这时有两种可能发生的分类错误： X的真实状态是 ，却分到 R1 ， X的真实状态是 ，却分到 R2 ， 错误率： 由Bayes公式 有： 则 在整个特征空间，有 所以， 当 时，把x分到R1，增加积分值，可以使错误率减小。 同理可得： 当 时，把x分到R2，可以使错误率减小。 条件风险为： 使 极小，即使 极大。 两种决策的结果相同 要使 极小，对于X，如果被积函数 将X分到R1，来减少 如果 ， 将X分到R2，来减小 。 这样，可以写出决策规则： 如果 ，则 如果 ，则 如何求 ？ 将决策规则写成： 如果 则 如果 则 可以看出， 是两种决策的边界。也就是选择R1和R2的边界，使得L极小。 正确时的条件概率 3.3 Neyman-Pearson决策 对于两类别决策，存在两种可能的分类错误： （1）把真实状态为 的模式分到 类； （2）把真实状态为 的模式分到 类。 两种错误的概率分别为： 决策应该使 都为最小。如何做？ Neyman-Pearson决策所要解决的问题： 对于二类模式识别问题，保持一种错误概率为常数 ，例如 ，而使另一种错误概率 达到极小。 这个问题可以看成在 条件下求 的极小值问题。 用什么方法呢？ 采用Lagrange乘数法，约束条件为 ， 构造Lagrange函数： 我们的目的就是使 达到极小。即 min 对于二类问题，有 所以， 达到极小值的必要条件是： 由此得 或 这是未知数 的方程， 就是分界的阈值。 可以用其他数学方法求得。 3.6 正态分布时的Bayes决策法则 单变量正态密度函数 它的均值为： 方差为： 单变量正态密度可由两个参数，即均值 和方差 完全决定，记为