[数学]第3章 统计决策方法.ppt

3.2 贝叶斯决策 贝叶斯决策方法是统计模式识别中的一个基本方法，用该方法进行分类是要求： (1) 各类别总体的概率分布是已知的。 (2) 要决策分类的类别数是一定的。 证明：贝叶斯分类器在最小化分类错误率上是最优的。 （证明以两类为例） 最小错误率的证明 以一维情况为例证明贝叶斯决策确实对应最小错误率 统计意义上的错误率，即平均错误率，用P(e)表示 最小错误率的证明 错误率图示 以t为界确实使错误率最小，因为P(e/x)始终取最小 这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判定给定像素属于目标还是背景 多类问题的贝叶斯决策 3.2.2 基于最小风险的贝叶斯决策 问题的提出：风险的概念 风险与损失紧密相连，如病情诊断、商品销售等问题 日常生活中的风险选择，所谓是否去冒险 最小风险贝叶斯决策考虑各种错误造成损失不同而提出的一种决策规则 “宁可错杀一千，也不放走一个” 以决策论的观点 决策空间：所有可能决策组成的集合 每个决策都将带来一定的损失，可表示为决策和自然状态的函数 一般决策表 相关的数学表示 条件期望损失 引入损失的概念，制定决策不能仅考虑最小错误率，而是要考虑采取的决策相应的损失是否最小 损失的数学表示，跟决策相关——条件期望损失，条件风险 期望风险 由已知，先验概率和类条件概率 根据损失函数 ，计算条件风险 相关知识复习 期望 方差 协方差矩阵 实际计算中的计算公式 判别函数与决策面 分类器的设计实际上就是在描述待识别对象的d维特征所组成的特征空间内将其划分为C个决策域。决策域的边界称为决策面，在数学上用解析形式表示为决策面方程。 用于表达决策规则的某种函数称为判别函数。 对于两类问题 （1）贝叶斯规则 （2）判别函数 （3）决策面（方策面方程） 3．正态分布最小错误率贝叶斯决策的错误率 两类问题最小错误率贝叶斯决策的错误率： 其中， ， 令 若 ，则 计算结果通过查标准正态分布表求得。 图2.10 错误率与马氏距离的关系 P(e)随着 的增大而单调递减，只要两类模式的马氏 距离足够大，错误率就可以减到足够小。 2.3.4 错误率的估计 1．已设计好分类器时错误率的估计 1）先验概率未知——随机抽样 N：随机抽取的样本数； k：错分样本数。 2）先验概率已知——选择性抽样 分别从ω1类和ω2类中抽取出N1和N2个样本， 用N1+N2 = N个样本对设计好的分类器作分类检验。 设ω1类被错分的个数为k1，ω2类错分的个数为k2。 k1、k2统计独立，联合概率为 式中，εi是ωi类的真实错误率。 总错误率的最大似然估计为 2．未设计好分类器时错误率的估计 要求：用收集到的有限的N个样本设计分类器并估计其性能。 错误率的函数形式：ε(θ1, θ2)。 θ1：用于设计分类器的样本的分布参数； θ2：用于检验分类器性能的样本的分布参数。 设θ是全部训练样本分布的真实参数集； 为全部样本中N个样本分布的参数估计量。 有 将有限样本划分为设计样本集和检验样本集的两种基本方法： 1）样本划分法 将样本分成两组，其中一组用来设计分类器，另一组用 来检验分类器，求其错误率。取不同划分方法的平均值作为错误率的估计。 缺点：需要的样本数N很大。 2）留一法 将N个样本每次留下其中的一个，用其余的(N-1)个设计分 类器，用留下的那个样本进行检验，检验完后重新放回样本集。 重复进行N次。注意，每次留下的一个样本应当是不同的样本。 适用于样本数较小的情况。 缺点：计算量大。 2.4 聂曼-皮尔逊(Neyman-Person)决策 适用于P(ωi)或P(ωi)和Lij(X)难以确定时。 基本思想：限制一个错误概率，追求另一个最小(二类问题)。 在两类问题贝叶斯决策的错误率公式中： 1． 基本思想 式中， 先验概率通常为常数，故一般也称P1(e)和P2(e)为两类错误率： P1(e)：ω1类模式被误判为ω2类的错误率； P2(e)：ω2类模式被误判为ω1类的错误率。 聂曼-皮尔逊决策出发点：在P2(e)等于常数的条件下，使 P1(e)为最小，以此确定阈值t。 一维情况聂曼-皮尔逊决策示意 例：在“信号检测”中，P2(e)代表虚警概率；