7-Bayes分类器-荡葱纶七章.pptVIP

基于概率统计的bayes分类器;贝叶斯的贡献;贝叶斯决策理论;对x再观察：有细胞光密度特征 ，有类条件概率密度: P(x/ ω ?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。;通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。;设N个样本分为两类ω1，ω2。每个样本抽出n个特征， x =（x1， x2， x3，…， xn）T;2、决策规则：; 3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率：;g(x);1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x)。每个判别函数有上面的四种形式。 2.决策规则：;二、多类情况：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn) ;正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： ;;3、（多变量）多维正态分布 （1）函数形式：;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;判别函数 类条件概率密度用正态来表示：;例、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？ 解：假定二类协方差 矩阵不等（∑1≠∑2） 则均值:;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;关于分类器的错误率分析 1、一般错误率分析：;;最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ； 第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22； 第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：;行动αi：表示把模式x判决为ωi类的一次动作。 损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。 损耗函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。 风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）;条件风险只反映对某x取值的决策行动αi所带来的风险。 期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;二类问题： 把x归于ω1时风险： 把x归于ω2时风险：;Bayes分类的算法（假定各类样本服从正态分布） 1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(N×n)。并计算有关参数。 3.计算矩阵y中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。