张素文-第4章统计决策方法案例.ppt

令： ，称似然比； ，为阈值。 ② 计算 。 ③ 计算 。 ① 定义损失函数Lij。 判别步骤： ④ 类概率密度函数 p(X |ωi) 也称ωi的似然函数 例 在例1的基础上利用决策表（下列），按最小风险进行分类 决策表 0 1 ?2 6 0 ?1 ?2 ?1 类型 风险 判别 解：计算 和 得： 例：某地乙肝患者与健康人的先验概率分别为 某患者的观察结果用模式向量 X 表示。由类概率密度曲线查得 损失函数分别为L11=0，L12=10， L22=0，L21=1。按最小风险贝 叶斯决策分类。 即被诊断为乙肝患者。 损失函数为特殊情况： 三、(0-1)损失最小风险贝叶斯决策 1、多类情况 (0-1)情况下，对X 被判为 时： 一般形式： 可改写成： 判决规则： 定义判决函数等价形式： 则判决规则等价形式为： ——是“最小错误Bayes决策” 书43页(4-3)式 2、两类情况： ① 书43页(4-3)式 或从①式导出似然比形式： 其中： 判决规则： ① §4.4 正态分布模式的贝叶斯决策 一、预备知识复习 1、二次型 设一向量 ，矩阵 则 称为二次型。 二次型中的矩阵A是一个对称矩阵，即 。 含义：是一个二次齐次多项式， 2、正定二次型 对于 （即X分量不全为零），总有 ，则称 此二些型是正定的，而其对应的矩阵称为正定矩阵。 3、单变量（一维）的正态随机向量 密度函数表示为： 曲线如图示： ①μ= -1，σ=0.5 ； ②μ= 0，σ=1 ； ③μ= 1，σ=2 . 4、一维正态曲线的性质 （2）曲线关于直线 x =μ对称。 （3）当 x =μ时，曲线位于最高点。 （4）当x＜μ时，曲线上升；当x＞μ时，曲线下降.并且当曲 线向左、右两边无限延伸时，以x轴为渐近线，向它无限靠近。 （1）曲线在 x 轴的上方，与x轴不相交。 （5）μ一定时，曲线 的形状由σ确定。σ越 大，曲线越“矮胖”，表 示总体的分布越分散； σ越小。曲线越“瘦高”。 表示总体的分布越集中。 （6）“3σ”规则 即：绝大部分样本都落在了 均值μ附近±3σ的范围内， 因此正态密度曲线完全可由 均值和方差来确定，常简记 为： p(x)～ 左图为某大学 男大学生的身高数 据，红线是拟合的 密度曲线。可见， 其身高应服从正态 分布。 总之，正态分布（高斯分布）广泛存在于自然、生产及科 学技术的许多领域之中，对许多实际情况都是一种合适的模型， 并且具有良好的特征，所以受到很大重视。 5、多变量（n维）正态随机向量 密度函数与单变量类似，表示为： 式中 |C|：协方差矩阵C的行列式， 多维正态密度函数完全由它的均值 M 和协方差矩阵C所 确定，简记为：p(X)～N( M , C ) 为对称正定矩阵。 以二维正态密度函数作图(a)、(b)所示： 等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到点M 的向量为均值M，圆心为M。椭圆的形状由协方差矩阵C决定。 对许多实际的数据集，正态分布通常是合理的近似。正态 分布概率模型特点： 1. 物理上的合理性。 2. 数学上的简单性。 前面介绍的Bayes方法事先必须求出p(X|ωi) 、 p(ωi) 。而 当 p(X|ωi)呈正态分布时，只需要知道 M 和 C 矩阵即可。 二、正态分布模式的Bayes决策 1、多类情况 具有M 种模式类别的多变量正态密度函数为： (5.4-1) 式中，每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为： 协方差矩阵Ci是对称的正定矩阵，它决定样本分布的形状，中心由均值向量M决定。 在最小错误率Bayes决策中，类别ωi的判别函数可写为： 对正态密度函数，为了方便，取对数后有： (5.4-2) 对数是单调递增函数，故取对数后仍有相对应的分类性能。 去掉与i无关的项，不影响分类，简化为： ——这就是正态分布的最小错误率Bayes决策的判别函数。 (5.4-3) (5.4-1) (5.4-2) 将(5.4-1)代入(5.4-2)式： di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。 (5.4-3) 判决规则同前