第2章随机模式的分类方法1.doc

第2章 随机模式的分类方法 该方法基于贝叶斯决策理论，往往以某种概率的形式给出。本章首先介绍贝叶斯分类方法中的一般性的判决规则，并且抽象出随机模式的判决函数和决策面方程，给出2种分类器结构。 2.1 引言 2.2 最小错误率判决规则（最简单的Bayes分类方法） 2.3 最小风险判决规则 2.4 最大似然比判决规则 2.5 Neyman-Pearsen判决规则---有时不知道先验概率，仅知道类概率密度 2.6 最小最大判决规则---先验概率是变化的 2.7 分类器设计 2.1 引言 随机模式：在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这个统计特性是建立各种分类方法的基本依据。 先看一下确定性模式判决函数的问题。 如下图所示： 通过判决函数，特征空间被区分界面划分成两种类型的区域A和B。由于模式样本的观测值是确定性的，经常被正确分配到类型区域A、B之中。假如我们用概率的形式来表达，就是：在类型A的条件下观测模式样本x，则x位于区域A的概率为1，而位于区域B的概率为0。同样，在类型B的条件下观测模式样本x，情况正好相反，x位于区域A的概率为0，而位于区域B的概率为1。这实际上是将概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的概率分布。 许多实际情况，即使在类型A的条件下，模式样本x位于区域A的概率也往往小于1，而位于区域B的概率也不为0。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。 “如何使分类错误率尽可能小，是研究各种分类方法的中心议题。” Bayes决策理论是随机模式分类方法最重要的基础。下面是几个重要的概念： 先验概率 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。 若仍然用两个类型A和B为例，可用和表示各自的先验概率，此时满足。 推广到一般的c类问题中，用表示类型，则各自的先验概率用表示，且满足： 其实，在处理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木材，其中桦木占70％，松木占30％，A――桦木，B－－松木，则，，如果从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。 先验概率不能作为判决的唯一依据，但当先验概率相当大时，它也能成为主要因素。 2．类（条件）概率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用，以及来表示。 先验概率密度在分类方法中起至关重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。 3. 后验概率 它是系统在某个具体的模式样本x条件下，位于某种类型的概率，常以，以及表示。 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。 例如：一个2类问题，w1表示诊断为无癌症，w2诊断为有癌症。P(w1) 表示诊断正常的概率，P(w2) 表示某地区的人被诊断出患上癌症的概率，该值可以通过大量的统计得到，x表示“试验反应呈阳性”。那么，P(x|w1)表示诊断为无癌症且试验反应为阳性，P(w1|x)表示试验为阳性，而且没有癌症。同样，可以有w2的类概率密度和后验概率。 2.2 最小错误率判决规则（最简单的Bayes分类方法） 分析一个“两类问题”。 以上一个例子为例，用w1和w2表示两种不同的类型，如w1表示诊断正常，w2表示诊断出患有癌症。 用和分别表示先验概率。如：诊断正常的概率，表示某地人患癌症的概率，可通过大量的统计得到。 用和表示两个类概率密度。 样本x表示“试验反应阳性”，则诊断为无癌症且试验反应为阳性，试验为阳性且没有癌症。 根据全概率公式，模式样本x出现的全概率密度为： （2.2－1） 根据Bayes公式，在模式样本x出现的条件下，两个类型的后验概率为： ， （2.2－2） 此时，样本归属于“后验概率较高”的那种类型。 也就是： ，则 ，则 （2.2－3） ，则偶然决定，或 根据（2.2－2）式，上述判决规则等价于： ，则 ，则 （2.2－4） ，则偶然决定，或 上面只是给出了最小错误率贝叶斯决策规则，但没有证明按这种规则进行分类确实使错误率最小。下面用一维情况来证明最小错误率贝叶斯决策规则，其结果不难推广到多维。 如下图所示，在一维特征空间里，判决门限t把空间划分为两个类型区域R1，R2。 在R1中，，则； 在R2中，，则； 阴影区域是两类样本的交错分配区域，阴影