统计决策随机模式的分类法-济南大学.PDF

《模式识别》电子教案 第 4 章 统计决策（随机模式的分类）法 客观现象或事物的发展，依据是否具有可预见性可以分为两类： 一类是确定性的，此类事物在一定条件下必然要发生或不发生；另一 类是随机性的，此类事物有很多可能的结果，在实验或实现前不能预 知会出现哪种结果，但其有统计规律，这种统计规律可以用它的概率 分布（密度）函数或数字特征来描述或刻划。实际上对许多必然性事 物，当我们对其发生、发展的一些条件不确知时，或影响它们的条件 是随机的，其也表现具有随机性。在对它们提取特征产生特征矢量时， 前者是确定性矢量，后者是随机矢量，它的分量是随机变量。确定性 矢量是随机矢量的一种特特殊情况，可纳入随机问题讨论。注意：此 处的随机性，除了量值的随机性之外，主要涉及模式类别的随机性。 在前面线性判别函数的分类方法中，没有直接利用各类的统计特 性，模式是确定性的。而特征分量的量测值总含有某种误差，其具有 一定的随机性，而且同一类的不同个体的某个特征分量的值也是按某 种规律散布的。特征分量数值的随机性反映至总体上，就涉及到模式 类别的随机性和判决结果的随机性。因此，用概率论的理论和方法解 决分类识别问题，从理论上和总体上讲都是更为合理和可靠的。该方 法用于随机模式分类识别，通常称为贝叶斯判决。主要依据类的先验 概率、概率密度，按照某种准则使分类识别结果从统计上讲是最佳的。 准则函数不同，所导出的判决规则不同，分类结果也不同。 该方法基于贝叶斯决策理论，往往以某种概率的形式给出。 本章首先介绍贝叶斯分类方法中的一般性的判决规则，并且抽象 出随机模式的判决函数和决策面方程，给出2 种分类器结构。 1 济南大学控制科学与工程学院 《模式识别》电子教案 4.1 引言 随机模式：在可以觉察到的客观世界中，存在着大量的物体和事 件，他们在基本条件不变时，具有某种不确定性，每一次观测的 结果没有重复性，这种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量 样本的观测值具有某种统计特性，这个统计特性是建立各种分类方法 的基本依据。 先看一下确定性模式判决函数的问题。 如下图所示： 通过判决函数，特征空间被区分界面划分成两种类型的区域 A 和 B 。由于模式样本的观测值是确定性的，经常被正确分配到类型区域 A 、B 之中。假如我们用概率的形式来表达，就是：在类型 A 的条件 下观测模式样本 x ，则x 位于区域 A 的概率为 1，而位于区域 B 的概 率为 0 。同样，在类型B 的条件下观测模式样本x ，情况正好相反， 2 济南大学控制科学与工程学院 《模式识别》电子教案 x 位于区域 A 的概率为 0，而位于区域 B 的概率为 1。这实际上是将 概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的 概率分布。 许多实际情况，即使在类型 A 的条件下，模式样本x 位于区域 A 的概率也往往小于 1，而位于区域 B 的概率也不为 0 。对于类型B 的 条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的 一种表现。此时，分类方法就从确定性模式转到随机模式。 “如何使分类错误率尽可能小，是研究各种分类方法的中心议题。” Bayes 决策理论是随机模式分类方法最重要的基础。下面是几个重 要的概念： 1. 先验概率 先验概率是预先已知的、或者可以估计的模式识别系统位于某种 类型的概率。 若仍然用两个类型 A 和 B 为例，可用P (A ) 和P (B ) 表示各自的先验 概率，此时满足P (A) +P (B ) 1 。 推广到一般的 c 类问题中，用w , w , w 表示类型，则各自的先 1 2 c 验概率用P (w ), P (w ), , P (w ) 表示，且满足： 1 2 c P (w ) +P (w ) ++P (w ) 1