最小风险贝叶斯判决准则.ppt

2.3　最小风险贝叶斯判决准则 　　最大后验概率判决准则使分类的平均错误概率最小化。 但是, 对于某些具体的分类问题, 这个准则并不是最好的, 这是因为它没有考虑到不同的错误判断带来的后果是不相同的。 考虑到各种错误分类造成的损失不同, 人们提出了最小风险贝叶斯判决准则。 它的基本思路是给每一种决策规定一个损失值(或代价), 将其作为因错误决策而导致的损失的度量。 　　设样本x来自类ωi, 可能被判为ω1, ω2, …, ωm 中的任何一种, 若允许拒绝判决, 可将拒绝类看成是独立的一类, 记为第m+1类, 即ωm+1。 为了表述方便, 引入如下符号:  　　(1) 决策αj: 将样本x的类别判为第j类。 不同的决策对应于特征空间的不同决策区域Rj, j∈{1, 2, …, m}。 若x∈Rj, 则判决x∈ωj(j=1, 2, …, m)。 这里未考虑拒识情况。 　　(2) 损失函数λ(αj, ωi): 对真实类别为第i类的样本采取决策αj所带来的损失。  　　在实际应用时, 可以将λ(αj, ωi)简写为λji, 写成矩阵形式 称之为损失矩阵。  　　对于给定类ωi的样本, 正确判断时的代价函数应该是最小的, 即 (i=1, 2, …, m) (2-11) 　　当样本x的真实类别未知时, 决策αj的条件风险是对 x 为所有可能的真实类别条件下将样本判为第j类的代价求平均, 即 (2-12) 　　条件风险只是反映对某一个样本x做出决策所带来的风险。 由于x是随机向量, 对于x的不同取值, 决策αj的条件风险的大小不同, 因此, 究竟采取哪一种决策, 与x的取值有关。 决策可以看成是随机向量x的函数, 记为α(x), 它本身也是一个随机变量, 它的取值为α1, α2, …, αm。 不同的决策值对应于特征空间不同的决策区域。 由此可以定义期望风险。 　　条件风险R(αj|x)(j=1, 2, …, m)在特征空间中的平均值称为期望风险, 记为R, 即 (2-13) 其中, p(x)为样本矢量在Rd空间中的概率密度函数, 与类别号无关。 期望风险的另一种表示方法为 　　与最小错误概率判决规则类似, 若对每一个x都选择最小的条件风险, 就能保证总体风险R最小, 因此, 得到最小风险贝叶斯判决准则如下:  　　可见, 期望风险反映对整个特征空间上所有x采取相应决策所带来的平均风险。 (2-14) 如果 (2-15) 则判决x∈ωk。  损失函数根据实际问题和经验确定。 若将损失函数取为 (2-16) 则称这种损失函数为0-1损失函数。 此时, 决策αj的条件风险为 (2-17) 由(2-17)可以看出, R(αj|x)最小实际上对应于P(ωj|x)最大, 因此当取0-1损失函数时, 最小风险贝叶斯判决准则等价于最大后验概率判决准则。 这说明最大后验概率判决准则是最小风险贝叶斯判决准则的特例。  对于两类分类问题, 条件风险为 (2-18) (2-19) 按最小风险的 Bayes 准则有 ＞ ＜ (2-20) 根据 Bayes 公式有 ＞ ＜ (2-21) ＞ ＜ (2-22) 　　由此可见, 和最大后验概率判决准则相比, 形式相似, 只是阈值发生了变化, 它不仅与先验概率的比值有关, 而且和代价函数差的比值有关。 这里的代价函数差值是错误分类时和正确分类时的代价函数之差。  　　【例 2.2】　在例2.1的基础上, 增加条件λ11=0, λ12=6, λ21=1, λ22=0, 请判断该细胞是否正常。  　　解　若按最小风险的Bayes判决进行判断, 可以求出: 所以, 应将细胞样本判为第二类, 即为异常。 2.4　Neyman-Person判决准则 　　最大后验概率判决准则是使分类的平均错误概率最小, 最小风险贝叶斯判决准则是使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样的问题: 对于两类情形, 不考虑总体的情况, 而只关注某一类的错误概率, 要求在其中一类错误概率小于给定阈值的条件下, 使另一类错误概率尽可能小。  　　例如, 在雷达目标检测中, 人们可能不仅对目标出现的先验概率未知, 而且对错误判断的代价也是难以估计的, 甚至是难以定义的。 雷达目标检测中存在两种错误: 一种是虚警, 即没有目标判为有目标; 另一种是漏警, 即有目标判为没有目标。 适当的方法就是观察者确定一个允许的虚警概率, 使漏警概率尽可能得小。  　　Neyman-Person判决准则解决的就是上述问题, 它只适用于两类情形。 在两类情况下, 有两种错误概率: 第一类错误概率是, 样本真实类别为ω1, 但落到了ω2的判决区域R2内, 从而被判为ω2的概率,