模式识别-第3讲-贝叶斯决策理论2.ppt

用判别函数的形式表达Bayes决策规则 (1) 判别函数：对于c类别情况，定义一组判别函数gi(x),i=1,2,…,c ,如果有对于一切 j ≠ i 均有 gi(x) gj(x),则 。 (2) 决策面方程：如果Ri和Rj是相邻的两个决策域, 则分割它们的决策面方程应满足: gi(x)= gj(x)。 (3) 分类器设计 分类器的设计 两类分类器 分类器的设计 可看成是由硬件或软件组成的“机器”.其功能是:先计算c 个判别函数 gi(x) ,再从中选出对应于判别函数为最大值的类作为决策结果. 样本 x1 x2 … … xn g1(x) g2(x) gc(x) MAX 最大值选择器 决策 多类分类器 四种基于最小错误率的Bayes决策形式 1.后验形式 2.先验形式 3.似然比 4.似然对数 一、两类情况 1. 判别函数： 2. 决策规则： 3. 决策面方程： g(x) 阈值单元 4. 分类器设计： 两类分类器可看作只是计算判别函数g(x)的一个 “机器”，它根据计算结果的符号将x分类。 二、多类情况 2.决策规则： 1.判别函数：c类有c个判别函数 3、决策面方程： g1(x) max g(x) g2(x) gn(x) 4、分类器设计： 关子分类器错误率的估计问题 利用样本估计错误率，直观上可认为N个考试样本（testing samples）中错分的样本数越多，则错误率越大，因此可用错分样本数与总考试样本数的比作为错误率的估计。这可分为两种情况： (1)对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验(样本)集或考试(样本)集(testing set)。 (2)对于未设计好的分类器，需将样本分成两部分，即分为设计集(training set)和检验集(testing set)，分别用以设计分类器和估计错误率。用来设计分类器的样本集称为设计(样本)集(training set)。 专升本学院，计算机学院,理学院第4次课结束！ * 第2章 Bayes决策理论 模式识别 授课教师：薛耀红 xueyh@cust.edu.cn 第二讲 贝叶斯决策理论（2） 贝叶斯决策理论 几种常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策 分类器设计 已知 状态先验概率： 对于两类的全概率为： 类条件概率密度函数： 利用贝叶斯公式： 得到的条件概率 称为状态的后验概率。 1. 基于最小错误率的贝叶斯决策 类条件概率密度=似然 P(error|x)=P(?2|x) 判定为?1(错误选择?2); 基于后验分布的判别规则 存在一个观察值x(特征) 如果P(?1 | x) P(?2 | x) 类别状态= ?1 如果P(?1 | x) P(?2 | x) 类别状态 = ?2 因此，无论何时观测到某一个特定值x，概率误差为： P(error|x)=P(?1|x) 判定为?2 (错误选择?1); 四种基于最小错误率的Bayes决策形式 1.后验形式 2.先验形式 3.似然比 4.似然对数 设{?1,?2,…,?c}是c个类别的集合(状态)。 设{?1,?2,…,?a}是a种采取的决策行为。 记 ?(?i,?j) (损失函数)是类别状态为?j时采用决策行为?i的风险。 对于i = 1,…,a，条件风险R(?i|x) 定义为： 它是在c个类别状态中任取某个状态?j时，采用决策?i的风险?(?i ,?j)相对于后验概率P(?j|x)的条件期望。 2.基于最小风险的贝叶斯决策 观察值x是随机向量，不同的观察值x，采取决策?i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。 决策?看成随机向量x的函数，因此，它也是一个随机变量。条件风险R(?i|x)反映给定的观察值x，采取决策?i时，所有类别状态下带来风险的平均值。 条件风险是反映了对于给定观察值x,采取决策?i所带来的风险。对于i=1,…,a所有的决策行动中，能否根据最小条件风险来决定判别规则？ 如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值x作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为： 将两类分类的风险条件代入上述决策规则，其等价于： 如果：(?21-?11)p(x|?1)P(?