统计决策理论.pptx

统计决策理论;关于统计学的一个笑话： ;统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。 下面介绍几种最常用、也是最基本的统计决策方法。这些方法是以后各种模式识别方法的基础。;贝叶斯决策理论方法是统计模式识别中的一个基本方法，用这种方法进行分类时要求满足以下两个条件： （1）各类别总体的概率分布是已知的； （2）要决策的类别数是一定的。 在连续的条件下，假设要识别的对象有d种特征测量值 ，每一种特征都是一个随机变量，因此组成d维随机向量 , d种特征的所有的取值范围构成了d维特征空间。 ;贝叶斯决策理论方法所讨论的问题是：已知总共有c个类别及各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样本按其特征向量分类的问题。 由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(ωi|X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。 ;;类条件概率密度函数 系统位于某种类型条件下模式样本出现的概率密度分布函数。 男女生比例是男生与女生这两类事物之间的关系，而男生高度的分布则与女生的分布无关。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。 例如X表示某一个学生的特征向量，则男生的类条件概率密度表示成P(X|男生)，女生的表示成P(X|女生)，这两者之间没有任何关系，可为从0~1之间的任意值。;;贝叶斯公式 两个事物X与w联合出现的概率称为联合概率，可写成P(X，w)，它们又可与条件概率联系起来，即P(X，w)=P(X|w)P(w)=P(w|X)P(X)，这就是贝叶斯公式。 如果将上式中各个项与先验概率，类条件概率密度函数以及后验概率联合起来，可以找到利用先验概率，类条件概率分布密度函数计算后验概率的方法。;2.1 Bayes定理;2.1 Bayes定理; 为此必须利用抽取到的d维观测向量。为简单起见，假定d=1，并已知两类的类条件概率密度函数分布，如图所示，其中P(x|ω1)是正??细胞的属性分布，P(x|ω2)是异常细胞的属性分布。;由Bayes公式得到： 式中 于是由先验概率 转化为后验概率 P(ωj|x) 。 如果对待分类模式的特征我们得到一个观察值x，经上式计算出结果 ，则判决X属于 ，反之，属于 。;2.2 Bayes决策; 例1：在细胞的化验中，要区分正常和异常的两种类型，分别用w1和w2表示，已知p(w1)=0.85, p(w2)=0.15,现有一待测细胞，其观测值为X，从类条件概率密度分析曲线上查得p(x/w1)=0.15, p(x/w2)=0.45,试对该细胞进行分类。;所以这次化验的细胞被判断为正常类型细胞。;2.2 Bayes决策;;一般决策表;;;;解：根据风险矩阵表;2.3 分类器的设计;2.3 分类器的设计;;2.3 分类器的设计;