贝叶斯分类器3.ppt

速冻大哥个 规范 统计模式识别（二） 贝叶斯分类器 内容 贝叶斯分类的基本原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布中的贝叶斯分类 回顾： 线性分类器设计思路 梯度下降法 感知器法 哈哈统计 有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是： “擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。 统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均… 统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。 统计学是面对不确定情况寻求决策、制定方法的一门科学 人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征 PR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。 一、贝叶斯分类原理： 1、贝叶斯公式及其意义： 2、作为统计判别问题的模式识别： 3、先验概率和后验概率： 4、后验概率的获得： 以细胞识别为例： 细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类ω1或异常类ω2中去。 假定可以得到Pr（ω1）、Pr（ω2），[Pr（ω1）+ Pr （ω2）=1] ,和p(x|ω1)、p(x|ω2) 。 如果只有先验概率，那么合理的选择是把x分到Pr（ω1）、Pr（ω2）大的一类中去。一般由于Pr（ω1）Pr（ω2），这样就把所有的细胞分到了正常的一类。失去了意义。 5 贝叶斯分类 贝叶斯分类的前提 要决策分类的类别数是一定的。 各类别总体的概率分布是一定的。 二、几种贝叶斯分类判别规则： 1、最小错误率贝叶斯分类： 1、最小错误率贝叶斯分类 2、最小风险贝叶斯分类： 2、最小风险贝叶斯分类： 2、最小风险贝叶斯分类： 2、最小风险贝叶斯分类： 3、最大似然比贝叶斯分类： 3、最大似然比贝叶斯分类： 三、正态分布决策理论 1、正态分布判别函数 为什么采用正态分布： 正态分布在物理上是合理的、广泛的。 正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 单变量正态分布： 三、正态分布决策理论 （多变量）多维正态分布 （1）函数形式： 2、最小错误率(Bayes)分类器： （1）.第一种情况：各个特征统计独立，且同方差情况。(最简单情况) 判别函数： (2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。 ③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 ④、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑤、线性组合的正态性。 判别函数：类条件概率密度用正态来表示： 决策面方程： 判别函数： 最小距离分类器：未知x与μi相减，找最近的μi把x归类 如果M类先验概率相等： * P(Bk|A)是事件A发生时事件Bk发生的条件概率； P(Bk)是事件Bk发生的概率； p(A|Bk)是事件Bk发生时事件A发生的条件概率密度； p(A)是事件A发生的条件概率密度； 贝叶斯公式表达了两个相关事件在先后发生时的推理关系 以两类分类问题来讨论： 设有两个类别ω1和ω2，理想情况， ω1和ω2决定了特征空间中的两个决策区域。 确定性分类： 我们任取一个样本x，当它位于ω1的决策区域时，我们判别x ∈ω1；当它位于ω2的决策区域时，我们判别x ∈ω1。也可以说：当x位于ω1的决策区域时，它属于ω1的概率为1，属于ω2的概率为0。 随机性统计分类： 如我们任取一个样本x，当它位于ω1的决策区域时，它属于ω1的概率为小于1，属于ω2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。 先验概率： 根据大量样本情况的统计，在整个特征空间中，任取一个特征向量x，它属于类ωj的概率为P(ωj),也就是说，在样本集中，属于类ωj的样本数量于总样本数量的比值为P(ωj)。我们称P(ωj)为先验概率。 显然，有： P(ω1)＋P(ω2)＋…… ＋P(ωc)＝1 后验概率： 当我们获得了某个样本的特征向量x，则在x条件下样本属于类ωj的概率P(ωj|x)称为后验概率。