第二章 贝叶斯决策理论—第三次课详解.pptVIP

分类决策实质上是在描述待识别对象的d维特征所组成的特征空间内，将其划分为m个决策域，待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 决策域的边界面就是决策面，在数学上用解析形式表示成决策面方程。用于表达判决准则的某些函数则称为判别函数。 判别函数与决策面方程是密切相关的，并且都是由相应判决准则所确定的。 多类别情况下，只有在特征空间中具有相邻关系的决策域的边界面才是有意义的决策面。 决策面是一种统称 一维特征空间：决策面是一个点 二维特征空间：决策面是一条曲线 三维特征空间：决策面是则是一曲面 超过三维的特征空间：决策面是一个超曲面 最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？ 最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？ N-P准则在实施时既不需要知道风险函数，也不需要知道先验概率。 最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： 各类先验概率不能精确知道； 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损失要变大，甚至变得很大。 采取方法： 最小最大风险判决准则，它的基本思想是在最差的情况下争取最好的结果。 在实际应用中遇到的情况： 各类先验概率不能精确知道； 在分析过程中发生变动。 采取方法： 最小最大风险判决准则，它的基本思想是在最差的情况下争取最好的结果。 如果k=0, 则R与P(ω1)无关, 且恒等于b, 这时最大可能的平均风险达到最小值。 但k=0 意味着此时的平均风险直线与最小Bayes风险曲线相切于B点, 平均风险R达到最小Bayes风险曲线的最大值, 如图2-4(b)所示, B点对应的先验概率满足使最大可能的平均风险最小的要求。 　　最小最大风险判决准则就是采用最小Bayes风险曲线中最大值对应的先验概率P0来设计分类器, 也就是, 在式(2-37)~式(2-40)中, 取P(ω1)=P0, 确定R1和R2。  　　通过以上分析我们知道, 在得到最小Bayes风险曲线后, 最小最大风险判决准则确定的风险为最小Bayes风险曲线的最大值, 此时先验概率的误差不会使分类器的性能指标下降; 在最大点以外的点上设计的最小风险分类器, 对先验概率的偏差呈线性变化, 变化的最大值不会比最小Bayes风险曲线的最大值小。 因此, 模式识别中的最小最大风险判决准则的实质是使因先验概率测量不准而导致的最大可能实际风险值最小化。  　　最小最大风险判决准则是一种保守的判决方法, 有赖于最小Bayes风险曲线的获得, 而在实际应用中这是非常困难的。 若已经得到了最小Bayes风险曲线的解析式, 求最小Bayes风险曲线关于P(ω1)的偏导, 并置为0, 即可求得B点对应的先验概率P0。 　　式(2-37)~式(2-40)给出的决策区域R1与R2和先验概率P(ω1)有关, 所以, 两类错误概率　　　　　　与 　　也与P(ω1)有关。 最小Bayes风险曲线上B点对应的先验概率P(ω1)=P0使式(2-34)中的k=0, 从而, 通过令k=0的方法求解P0, 即 =0 　　若上式有唯一解, 则该极值点即为最大值点; 若上式有多个解, 则多个极大点中的最大者为最大点; 若无解, 则最大点出现在左端点或右端点上, 计算两端点的 R 值, 大者即为最大值。 把分类问题对应为Rd空间上的多元函数, 称为判别函数(或称判决函数)gi(x)。 模式分类实际上是将特征空间划分为不同的决策区域, 相邻决策区域被决策面所分割, 决策面是特征空间中的超曲面, 其决策面方程满足相邻两个决策域的判别函数相等, 即gi(x)=gj(x)。 分类器可被看做是一个计算m类个判别函数并选取最大(或最小)判决值对应的类别的网络或机器。 2.6 本章小结 　　最大后验概率判决准则，即贝叶斯(Bayes)判决准则： ，则x∈ωj。 　　几种最大后验概率判决准则的等价形式:  　　(1) 若 ，则x∈ωj; 　 (2) 若 ，则x∈ωj; 　 (3) 若 则x∈ωj。 第2章　贝叶斯决策理论 第2章　贝叶斯决策理论 本章内容 2.1　分类器的描述方法 2.2　最大后验概率判决准则 2.3　最小风险贝叶斯判决准则 2.4　Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结 　　如果P(ω1|x)P(ω2|x), 则判决x属于ω1;  　　如果P(ω1|x)P(ω2|x), 则判决x属于ω2;  　　如果P(ω1|x)=P(ω