第2章+随机模式的分类方法1.pptVIP

* 随机模式的分类方法 第2章 该方法基于贝叶斯决策理论，往往以某种概率的形式给出。本章首先介绍贝叶斯分类方法中的一般性的判决规则，并且抽象出随机模式的判决函数和决策面方程，给出2种分类器结构。 Made in CVPRLab of Shandong University 目 录 2.1 引言 1 2.2 最小错误率判决规则（最简单的Bayes分类方法） 2 2.3 最小风险判决规则 3 2.4 最大似然比判决规则 4 2.5 Neyman-Pearsen判决规则--- 有时不知道先验概率，仅知道类概率密度 5 2.6 最小最大判决规则---先验概率是变化的 6 2.7 分类器设计 6 Made in CVPRLab of Shandong University 2.1 引言 随机模式 在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这个统计特性是建立各种分类方法的基本依据。 先看一下确定性模式判决函数的问题。 Made in CVPRLab of Shandong University 2.1 引言 通过判决函数，特征空间 被区分界面划分成两种类型的区域A和B。由于模式样本的观测值是确定性的，经常被正确分配到类型区域A、B之中。 假如我们用概率的形式来表达，就是：在类型A的条件下观测模式样本x，则x位于区域A的概率为1，而位于区域B的概率为0。 同样，在类型B的条件下观测模式样本x，情况正好相反，x位于区域A的概率为0，而位于区域B的概率为1。这实际上是将概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的概率分布。 Made in CVPRLab of Shandong University 许多实际情况，即使在类型A的条件下，模式样本x位于区域A的概率也往往小于1，而位于区域B的概率也不为0。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。如前面的男女例子所示。 “如何使分类错误率尽可能小，是研究各种分类方法的中心议题。”—不犯错是不可能的！关键是尽可能不犯错，或者是少犯错，即使犯了错误，引起的风险也尽可能小！ 人与计算机的区别，智能与机械的区别 2.1 引言 Made in CVPRLab of Shandong University Bayes决策理论是随机模式分类方法最重要的基础。 其中几个重要的概念： 先验概率 先验概率是预先已知的或者可以估计的模式样本属于某种类型的概率。 类（条件）概率密度 它是位于某种类型条件下，模式样本x出现的概率密度分布函数 后验概率 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。 2.1 引言 Made in CVPRLab of Shandong University 先验概率 先验概率是预先已知的或者可以估计的模式模式样本属于某种类型的概率。 若仍然用两个类型A和B为例，可用 和 表示各自的先验概率，此时满足 。 推广到一般的c类问题中，用 表示类型，则各自的先验概率用 表示，且满足： 其实，在处理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木材，其中桦木占70％，松木占30％，A――桦木，B－－松木，则： 如果从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。 因此，先验概率不能作为判决的唯一依据， 但当先验概率相当大时，它就成为判别的主要因素—即经验论。 2.1 引言 Made in CVPRLab of Shandong University 2.1 引言 2．类（条件）概率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用 ，以及