贝叶斯网络讲义.pptVIP

第二章 统计判别 2.1 作为统计判别问题的模式分类 模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。 2.1 作为统计判别问题的模式分类 在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。 例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。 这种现象是确定性的现象 但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。 特征值不再是一个确定的向量，而是一个随机向量。 此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。 2.1 作为统计判别问题的模式分类 2.1.1 贝叶斯判别原则 两类模式集的分类 目的：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。 贝叶斯判别 2.1 作为统计判别问题的模式分类 2.1.1 贝叶斯判别原则 例子（地震预测） 对某一地震高发区进行统计，地震以ω1类表示，正常以ω2类代表 统计的时间区间内， 每周发生地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8 在任意一周，要判断该地区是否会有地震发生。显然，因为P(ω2) P(ω1)，只能说是正常的可能性大。如要进行判断，只能其它观察现象来实现。 2.1 作为统计判别问题的模式分类 2.1.1 贝叶斯判别原则 例子 通常地震与生物异常反应之间有一定的联系。 若用生物是否有异常反应这一观察现象来对地震进行预测，生物是否异常这一结果以模式x代表，这里x为一维特征，且只有x=“异常”和x=“正常”两种结果。 2.1 作为统计判别问题的模式分类 2.1.1 贝叶斯判别原则 例子 假设根据观测记录，发现这种方法有以下统计结果： 地震前一周内出现生物异常反应的概率=0.6，即p(x=异常| ω1)=0.6 地震前一周内出现生物正常反应的概率=0.4，即p(x=正常| ω1)=0.4 一周内没有发生地震但也出现了生物异常的概率=0.1，即p(x=异常| ω2)=0.1 一周内没有发生地震时，生物正常的概率=0.9，即p(x=正常| ω2)=0.9 2.1 作为统计判别问题的模式分类 2.1.1 贝叶斯判别原则 问题 若某日观察到明显的生物异常反应现象，一周内发生地震的概率为多少，即求P(ω1 | x=异常)=？ 这里P(ω1) 是根据以往的统计资料得到的地震发生的先验概率。现在经过观察，需要求出P(ω1 | x=异常)，即观测到生物异常时一周内发生地震的概率，称为后验概率。 [计算] 2.1 作为统计判别问题的模式分类 2.1.2 贝叶斯最小风险判别 当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正，提出条件平均风险rj(x)。 M类分类问题的条件平均风险rj(x) 对M类问题，如果观察样本被判定属于ωj类 ，则条件平均风险为： Lij称为将本应属于ωi类的模式判别成属于ωj类的是非代价。 2.1 作为统计判别问题的模式分类 2.1.2 贝叶斯最小风险判别 意义 对于自然属性是属于ωi类的模式x来说，它来自ωi类的概率应为P(ωi |x)。 如果分类器判别x是属于ωj类，但它实际上来自ωi类，也就是说分类器失败，这时Lij为失分，对应的条件风险为后验概率进行Lij的加权运算。 由于模式x的自然属性可能来自M类中的任一类，因此可将观察样本指定为ωj类的条件平均风险用rj(x)的公式运算。 2.1 作为统计判别问题的模式分类 2.1.2 贝叶斯最小风险判别 Lij的取值 若i=j，即判别正确，得分， Lij可以取负值或零，表示不失分。 若i≠j，即判别错误，失分， Lij应取正值。 最小平均条件风险分类器 分类器对每一个模式x有M种可能的类别可供选择。 若对每一个x计算出全部类别的平均风险值r1(x), r2(x),…, rM(x)，并且将x指定为是具有最小风险值的那一类，则这种分类器称为最小平均条件风险分类器。 表达式 2.1 作为统计判别问题的模式分类 2.1.2 贝叶斯最小风险判别 两类（M=2）的情况 [例子] 一般多类（M类）的情况 2.1 作为统计判别问题的模式分类 出发点 当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。 由