第2章 贝叶斯决策理论-1.pptVIP

第二章 贝叶斯决策理论 2.1 引言 2.2 几种常用的决策规则 2.3 贝叶斯分类方法的判别函数与分类器结构 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22；第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念： * * 引言 模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去，因此可看成一种决策行为。 统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。 贝叶斯决策理论是统计模式识别中的一个基本方法。 贝叶斯决策理论方法所讨论的问题是：已知总共有c类物体，各类别ωi=1,2,…,c的先验概率P(ωi)已知的条件下，如何对某一样本按其观察值（特征向量）分类的问题。 §2-1 贝叶斯决策理论的一些基本概念 1.先验概率 预先已知的或者可以估计的模式识别系统位于某种 类型的概率。 对c类问题，用 表示类型，则各 自的先验概率用 表示， 且满足： 以先验概率的大小作为判决的依据： 如：南宁市市民中男女比例是男65%，女35%，则 路上经过的任一个人用先验概率作判决的话，就 判为男性。 类（条件）概率密度在分类方法中起至关重要的 作用，它的函数形式及主要参数或者是已知的， 或者是可通过大量抽样实验估计出来。 2.类（条件）概率密度 系统位于某种类型条件下，模式样本x出现的概率 密度分布函数，常用 ，以及 来表示。 后验概率可以根据贝叶斯公式计算出来，可直接 用作分类判决的依据。 如：P(w1|x)表示试验为阳性，而且没有癌症的 后验概率，P(w2|x)表示试验为阳性，有癌症的 后验概率，如果P(w2|x) 〉 P(w1|x) ，则判该 样本为有癌症。 3.后验概率 系统在某个具体的模式样本x条件下，位于某种类 型的概率，常以 ，以及 来表示。 Bayes(贝叶斯)公式是根据联合概率这一概念推出 的，同时出现两个事件X及ωi的概率为P(x,ωi)。 它是某个条件出现的概率(如P(ωi)),以及在此条 件下某事件出现概率(P(x|ωi))的乘积，在此写 为：P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)。 先验概率是针对ωi，I＝1,2,…,c,这c个事件出现 的可能性而言的，不考虑其它任何条件类条件概率 密度函数P(x|ωi)是指ωi条件下在一个连续的函 数空间出现X的概率密度，在我们这里指第ωi类样 本他的属性X是如何分布的。 一、一个例子 例如：细胞识别问题（ω1正常细胞，ω2异常细胞） 某地区，经大量统计获先验概率P(ω1),P(ω2)。若 取该地区某人细胞x，该属何种细胞？合理的判决规 则是： 基于最小错误率的Bayes决策 这样的分类决策没有意义，说明仅由先验概率提供的分类信息太少，必须加上对细胞作病理分析所观测到的信息，即经特征抽取得到的特征向量。 §2.2.1 对x再观察：对细胞光密度特征,有类条件概率密度: P(x/ω?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。 设N个样本分为 两类ω1，ω2。 每个样本抽出 n个特征， x =（x1， x2， x3，…， xn）T 例：某地区细胞识别, P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率： P(x/ ω 1)=0.2， P(x/ ω 2)=0.4 二、最小错误率的证明 由于统计判别方法是基于统计参数作出决策，因此 错误率也只能从平均的意义上讲，表示为在观测值 可能取值的整个范围内错识率的均值。在连续条件 下，平均错误率以P(e)表示，应有： p(e,x)表示错误率为e观测值为x的联合概率密度，P(e|x)是观测值为x时的条件错误概率密度函数，P(x)为x值出现的概率，而积分运算则表示为在整个d维特征空间上的总和。在此一维情况下，x取从－∞到+∞的整个范围。 在两类别问题中，按上面给出的决策规则，当P(w