第2章 贝叶斯决策理论与统计判别方法.pdf

模式识别 第2 章 贝叶斯决策理论与统计判别方法 武汉大学电子信息学院武汉大学电子信息学院 1 贝叶斯决策理论 模式识别 学习指南 • 主要内容是说明分类识别中为什么会有错分类， 在何种情况下会出现错分类？错分类的可能性会 有多大？在理论上指明了怎样才能使错分类最少？ • 不同的错分类造成的危害是不同的，有的错分类 种类造成的危害更大，因此控制这种错分类则是 更重要的。为此引入了一种“风险”与“损失” 概念，希望做到使风险最小。要着重理解“风险” 与“损失”的概念，以及在引入“风险”概念后 的处理方法。 武汉大学电子信息学院武汉大学电子信息学院 2 贝叶斯决策理论 模式识别 理解这一章的关键是要正确理解先验概率， 类概率密度函数，后验概率这三种概率， 对这三种概率的定义，相互关系要搞得清 清楚楚。Bayes公式正是体现这三者关系的 式子，要透彻掌握。 武汉大学电子信息学院 3 贝叶斯决策理论 模式识别 2.1 引 言 • 模式识别是一种分类(classify) 问题，即根据 识别对象所呈现的观察值，将其分到某个 类别中去。统计决策理论是处理模式分类 问题的基本理论之一，对模式分析和分类 器(classifier) 的设计起指导作用。贝叶斯决 策理论是统计模式识别中的一个基本方法， 我们先讨论这一决策理论，然后讨论涉及 统计判别方法的一些基本问题。 武汉大学电子信息学院武汉大学电子信息学院 4 贝叶斯决策理论 模式识别 特征向量与特征空间 • 例：苹果的直径尺寸限定在7厘米到15厘米 之间，它们的重量在3 两到8 两之间变化。 如果直径长度x 用厘米为单位，重量y 以两 为单位。那么，由x值从7到15 ，y 值从3到8 包围的二维空间就是对苹果进行度量的特 征空间。 • 总体概率分布已知 • 要决策分类的类别数一定 武汉大学电子信息学院武汉大学电子信息学院 5 贝叶斯决策理论 模式识别 贝叶斯决策理论所要讨论的问题 • 各类别ωi=1,2,…,c的先验概率P( ωi) 及类条 件概率密度函数p(x|ωi) 已知的条件下，如 何对某一样本按其特征向量分类的问题。 • 几种常用的决策规则 • 正态分布时统计决策的问题以及错误概率 等问题 武汉大学电子信息学院武汉大学电子信息学院 6 贝叶斯决策理论 模式识别 2.2 几种常用的决策规则 • 不同的决策规则反映了分类器设计者的不 同考虑