统计决策方法讲义.pptx

第四章 统计决策方法;§4.1 引言 §4.2 最小错误率贝叶斯决策 §4.3 最小风险贝叶斯决策 §4.4 正态分布模式的贝叶斯决策 §4.5 聂曼——皮尔逊判别 §4.6 按后验概率密度分类的势函数方法;一、复习;获取模式的观察值时，有二种情况： （1）确定性事件：事物间有确定的因果关系。前两章内容。 （2）随机事件：事物间没有确定的因果关系，观察到的特征 具有统计特性，是一个随机向量。只能利用模式集的统计特 性来分类，以使分类器发生分类错误的概率最小。;c) 对于两两互斥的事件 有;a) 概率乘法公式：如果P(B)0，则联合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA) （5.1-2）;设样本的特征向量X是随机向量，则相关概率有三种：;P(ω2| X) 表示试验呈阳性的人中(显示可能有病)， 实际没有病的人的概率。 ;④ 三者关系：根据(5.1-4)贝叶斯公式有：;② 分类规则：有M类模式，;;例子——癌症普查：;对人们测量细胞的特征向量 代表的某个人属于第i类的后验概率： 决策规律：;若已知两类特征向量分布的类条件概率密度函数 贝叶斯公式、全概率公式;将P(?i|x)代入判别式，判别规则可表示为;概念和符号;例：对一批人进行癌症普查，?1 :患癌症者; ?2 :正常人。 模式特征x=x(化验结果),x=1：阳性；x=0：阴性。 已知：（统计结果） 先验概率：P(?1)=0.005 P(?2)=1-P(?1)=0.995 条件概率：p(x=阳|?1)=0.95 p(x=阴|?1)=0.05 p(x=阳|?2)=0.01 求：呈阳性反映的人是否患癌症？;解：利用Bayes公式;写成似然比形式;现有一待诊人员，血液观察值为X 。从类条件概率密度发布 曲线得：　　　　　　，;;二、错误率分析 ;;;;;L2c(?2/?c);;;2、两类情况：对样本 X;令：;例 在例1的基础上利用决策表（下列），按最小风险进行分类 决策表;;解：计算 和 得：;;;;§4.4 正态分布模式的贝叶斯决策;3、单变量（一维）的正态随机向量;4、一维正态曲线的性质;（6）“3σ”规则;;5、多变量（n维）正态随机向量;以二维正态密度函数作图(a)、(b)所示： 等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到点M 的向量为均值M，圆心为M。椭圆的形状由协方差矩阵C决定。; 对许多实际的数据集，正态分布通常是合理的近似。正态 分布概率模型特点： 1. 物理上的合理性。 2. 数学上的简单性。 前面介绍的Bayes方法事先必须求出p(X|ωi) 、 p(ωi) 。而 当 p(X|ωi)呈正态分布时，只需要知道 M 和 C 矩阵即可。;式中，每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为：;去掉与i无关的项，不影响分类，简化为：; di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。;2、两类问题;② 当C1=C2=C时：由(5.4-3)式，;③ 当;例：设在三维特征空间里，分别在两个类型中获得4个样本， 位于一个单位立方体的顶点上：;设两类为正态分布，其均值向量和协方差矩阵可用下式估计：;经计算有;三、分类器的错误概率;只有符合贝叶斯判别准则，即判别阈值满足;§4.5 聂曼-皮尔逊(Neyman-Person)判别; Neyman-Person准则出发点：在取P2(e)等于常数的条件下， 使P1(e)为最小，以此来确定阀值。;使总错误率最小：→最小错误率Bayes决策 ② 使风险（错误引起的损失）最小： →最小平均风险Bayes决策 →(0-1)损失最小风险Bayes决策 ③ 限制一个错误概率，追求另一个最小： → Neyman-Person判别;二、判别式推导;同理由（5.5-1）式有：;从（5.5-4）式可看出：;找μ从已规定为常数的P2(e)入手，;④ 在任一区间 内取值的概率：;2、利用标准正态分布表，求标准正态分布在下面