第2章随机模式的分类方法2.doc

2.6 最小最大判决规则（minimax） 基本思想：类先验概率未知，考查先验概率变化对错误率的影响，找出使最小贝叶斯风险最大的先验概率，以这种最坏情况设计分类器。 在实际应用中，有时分类器处理的各种类型样本的“先验概率是变化的”，此时再按照某个固定的条件下的决策规则来进行决策，就得不到最小错误率或最小风险所需要得出的结果。这时就要用“最小最大判决规则”了。 在2.3节里，介绍了最小风险判决规则，研究了条件平均风险的概念和计算公式： （2.3-1） 并且把摸式样本归属于条件平均风险最小的那一种类型。由上式可以看出，与类概率密度、损失函数、先验概率有关。如果上述因素是不变的，由足够的样本对分类器进行训练，就可以把特征空间划分成不同的类型区域。如果先验概率不是确切知道，在训练过程中，采用多组先验概率，就会得到多组类型区域的划分结果。 另外，条件平均风险仅反映在样本x条件下，判决为的平均风险，而不能反映把整个特征空间划分成某种类型空间的总的平均风险。 又由于x的观测值是随机向量，决策结果又依赖于x，所以决策作为x的函数可以记为，它也是一个随机变量。因此，可以定义“平均风险”为： (2.6-1) 其中为x的取值空间，实际上就是整个特征空间。当特征空间被划分成c个类型区域之后(2.6-1)变为： (2.6-2) 由上式看出，如果类型区域的划分不同，则平均风险也不同。由于先验概率不同，对分类器训练结果，有不同的类型区域划分。所以，平均风险可作为先验概率的函数。（因为对于各类先验概率组合，有一系列的类型区域划分结果，从而可以计算出一系列的平均风险，可以得到与先验概率的函数关系。） 下面研究一下两类问题，用和表示不同的类型，它们的先验概率满足： 所以，上述平均风险与先验概率的关系就是与的关系，一般是非线性关系。假定已经得到这个关系，如下图曲线所示。曲线上的任一点都对应着训练过程中所使用的先验概率及所有决策的平均风险。 如果预先不确切知道先验概率，能否按照使平均风险最小来选择决策方案呢? 这是不可以的。这涉及所谓最小最大判决规则。为了说明这个问题，下面针对两类问题进一步研究平均风险。由(2.6-2)： 将，，令代入上式，得到： (2.6-3) 又因为，代入上式： 又因为： 代入上式，得到： (2.6-4) 式中： (2.6-5) (2.6-6) 损失函数是给定的，由(2.6-5)式和(2.6-6)式看出，如果已经确定类型区域和，则a、b为常数。根据(2.6-4)式，平均风险是先验概率的线性函数。由于先验概率的取值范围为0～1，所以值变化范围为a～(a+b)。 例如，在上图中，在划分类型区域时，，。在分类判决过程中，类型区域不再变化，而可能变化，最大可能的平均风险，这是所不希望的。 如何使最大可能的平均风险为最小呢?由(2.6-4)式，，如果b＝0，，且与无关，即最大可能的平均风险达到最小值。但是b＝0又意味着由于类型区域的划分使平均风险达到曲线极值，如下图所示。此时，为曲线的最大值。 即在训练过程中使平均风险达到最大值（对于不同的变化的先验概率），恰好在分类判决中使最大可能的平均风险达到最小值（即E-D-F水平线，其他任何一点的切线的最大可能的平均风险都比该直线的最大点要大，例如上面的图中的直线的最高点），这就是最小最大判决规则的基本思想。 由上述分析，为了实施最小最大判决规则，必须令b=0。由(2.6-6)式，有： (2.6-7) 此时，在分类判决中，平均风险为： (2.6-8) 在这种情况下，与先验概率的变化无关。 对于特殊情况： ， ， 也就是取0－1损失函数，代入(2.6-4～6)，有： 上式就是最小错误率判决规则的错误率。 序贯分类方法 基本思想：除考虑分类造成的损失外，还考虑特征获取所造成 的代价。先用一部分特征分类，然后逐步加入新特征以减少分类 损失，同时衡量总的损失，以求得最优的效益。 2.7 分类器设计 前面介绍了几种统计决策规则，运用这些规则对样本x进行分类，是分类器设计的主要问题。 1. 判别函数和决策面 定义：用于表达决策规则的函数称为判别函数。 决策面：将划分决策域的边界面称为决策面。可