第二章 贝叶斯决策论.ppt

例题：正态分布的两类问题 2.5 Neyman-Pearsen判决规则 2.6 最小最大判决准则(极小极大准则) 总风险： 又因为： p(w2)=1-p(w1) ，极小化极大风险值 =0 对于极小化极大求解 关系式含义： 等式表明一旦判决边界确定之后(即R1和R2被确定),总风险与p(w1)成线性关系。如果能找到一个边界使比例常量为0，那么风险将与先验概率相独立。极小极大风险： 2.7 分类器设计 判别函数和决策面 判别函数：用于表达决策规则的函数称为判别函数。 决策面：将划分决策域的边界面称为决策面。可用数学表达 式表达为决策面方程。 2. 多类情况 判别函数 有很多种方式来表述模式分类器，其中用的最多的是一种判别函数 表示多类判决规则： 多类情况中的贝叶斯最小错误率判决， 可以定义为： (1) (2) (3) 判别函数的选择不是唯一的，可以将所有的判别函数乘上相同的正常数或者加上一个相同的常量而不影响其判决结果，更一般的情况下，如果将每一个 替换成 其中f(.)是一个单调递增函数，分类结果不变。此方法可以简化分析和计算。尽管判别函数可写成各种不同的形式，但是判决准则是相同的。 说明： 决策面方程 各决策域 被决策面所分割，这些决策面是特征空间中的超曲面，对于相邻的两个决策域 和 ，分割它们的决策面方程应满足： 在决策面上相邻决策函数的值相等 ，决策边界表现为：点、直线、曲线、平面、曲面、超平面、超曲面等形式。 分类器设计 功能：先设计出c个判别函数 ，再从中选出对应于判决函数为最大值的类作为决策结果。对于c类问题， ，等效于 两类情况 二分分类器:只有两类模式的分类器。 判决函数 决策规则： (1) (2) (3) 决策面方程 也可以表示为： 分类器设计 通过计算 ，根据计算结果的符号将x分类。 第二章 贝叶斯决策论 主要内容： 1、 机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2、 如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3、 模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法4、 正态分布条件下的分类器设计5、 判别函数、决策面、决策方程等概念6、 Bayes决策理论的理论意义与在实践中所遇到的困难 难点 1、 三种概率：先验概率、类概率密度函数、后验概率的定义 2、 三种概率之间的关系——Bayes公式 3、 描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。 2.1 引言 统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器设计都有实际指导意义。 贝叶斯决策方法是统计模式识别中的一个基本方法，其首先假设： 该决策问题可以用统计概率方法来处理 各个类别的总体概率分布是已知的（实际很难得到） 特征量的先验概率分布是已知的（实际很难得到） 样本空间 特征空间 分类器设计 分类判决 判决输出 引言（1) 贝叶斯决策理论是统计决策方法中的最优方法 常用决策准则： 基于最小错误率的Bayes决策规则 基于最小风险的Bayes决策准则 2.2 最小错误率Bayes决策准则（朴素贝叶斯分类）（Navie (or Idiot’s) Bayes) 捕鱼的例子：鲈鱼（Sea Bass)、鲑鱼(Salmon)（捕到的鱼只能是二者之一） 用w标记类别： ：鲈鱼 ：鲑鱼 假设w可以用概率（可能性）来表示： P(w1)：下一条鱼是鲈鱼的先验概率 P(w2)：下一条鱼是鲑鱼的先验概率 P(w1)+P(w2)=1 先验概率：反映了我们的经验知识，例如随季节和海域的不同鱼的分布情况不同。 一种简单的判决准则： 只根据先验知识获得一个简单的判决准则： W=w1:鲈鱼 W=w2:鲑鱼 例如：假设春季在某海域是：鲈鱼的概率是：99.99%，鲑鱼的概率是：0.01%，则可认为打捞上来的鱼是鲈鱼。在冬季他们出现的概率相反，则可认为打捞上来的鱼是鲑鱼。 当两类鱼出现的概率相差不大时？ 需要更多的特征信息：如鱼的长度，鱼的外表色泽的深浅、嘴的位置和大小等等。 特征及其类条件概率密度分布 特征量：鱼外表色泽亮度x 根据大量的统计可以获得鲈鱼和鲑鱼关于亮度x的类条件概率分布情况： 鲑鱼 鲈鱼 判决问题？ 假设知道： 1.鲈鱼和鲑鱼的先验概率：p(w1)，p(w2) 2.亮度特征x的类条件概率密度： 3.当前待分类的这条鱼的亮度观测值：x 判断：x属于鲈鱼和鲑鱼的概率情况 Bayes公式(1) Bayes公式(2) 亮 后验概率和错误概率 基于最小错