关于贝叶斯决策理论讲述.pptVIP

课前思考 机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？ 学习指南 本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？ 不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。 学习指南 理解本章的关键 要正确理解先验概率，类概率密度函数，后验概率这三种概率 对这三种概率的定义，相互关系要搞得清清楚楚 Bayes公式正是体现这三者关系的式子，要透彻掌握。 2.1引言 统计决策理论 是模式分类问题的基本理论之一 贝叶斯决策理论 是统计决策理论中的一个基本方法 物理对象的描述 在特征空间中讨论分类问题 假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T 这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。 贝叶斯决策理论方法讨论的问题 讨论的问题 总共有c类物体 已知各类在这d维特征空间的统计分布， 各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi) 问题: 如何对某一样本按其特征向量分类 §2.2 几种常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策 序贯分类方法 2.2.1基于最小错误率的贝叶斯决策 分类识别中为什么会有错分类？ 当某一特征向量值X只为某一类物体所特有，即 对其作出决策是容易的，也不会出什么差错 问题在于出现模棱两可的情况 任何决策都存在判错的可能性。 基于最小错误率的贝叶斯决策 基本思想 使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策 条件概率 P(*|#)是条件概率的通用符号 即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率 P(*|#)与P(*)不同 例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同 几个重要概念 先验概率 P(ω1)及P(ω2) 概率密度函数 P(x|ωi) 后验概率 P(ωi|X) 贝叶斯决策理论 先验概率，后验概率，概率密度函数 假设总共有c类物体，用ωi (i=1,2,…,c)标记每个类别，x = [x1, x2, …, xd]T，是d维特征空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率 基于最小错误率的贝叶斯决策 例：癌细胞的识别 假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示， 识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。 这里我们用ω１表示是正常细胞，而ω２则属于异常细胞。 基于最小错误率的贝叶斯决策 先验概率 P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即P(ω1)P(ω2) 基于最小错误率的贝叶斯决策 salmon” or “sea bass”判别中的先验概率 P(ωsalmon) P(ωsea bass) 基于最小错误率的贝叶斯决策 先验概率 根据先验概率决定 这种分类决策没有意义 表明由先验概率所提供的信息太少 基于最小错误率的贝叶斯决策 概率密度函数 利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维观测向量。 为简单起见，我们假定只用其一个特征进行分类，即d=1 得到两类的类条件概率密度函数分布 P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布 基于最小错误率的贝叶斯决策 类条件概率密度函数 基于最小错误率的贝叶斯决策 salmon” or “sea bass”判别中的类条件概率密度函数 基于最小错误率的贝叶斯决策 类条件概率密度函数直接用来分类是否合理？ 基于最小错误率的贝叶斯决策 后验概率含义 P (ω1 |X ) 当观测向量为X值时, 该细胞属于正常细胞的概率。 P (ω2 |X ) 当观测向量为X值时, 该细胞属于异常细胞的概率。 基于最小错误率的贝叶斯决策 后验概率 基于最小错误率的贝叶斯决策 salmon” or “sea bass”判别中的后验概率 基于最小错误率的贝叶斯决策 类条件概率