贝叶斯分类器题库.pptVIP

两类决策方法之间的关系 基于最小错误率的决策是基于最小风险决策的一个特例 设损失函数为 式中假定对c类只有c个决策，既不考虑“拒绝”等其他情况，(2-17)表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数成为0—1损失函数。 两类决策方法之间的关系 根据(2-14)式条件风险为 最小错误率贝叶斯决策就是0--1损失函数条件下的最小风险贝叶斯决策 图2.4 图2.3 与图2.4 3.判别函数、决策面与分类器设计 决策域：待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 决策面：决策域的边界面。 判别函数：用于表达决策规则的某些函数。 例：两类别问题按最小错误率做决策 相应的判别函数：gi(x)=p(wi|x),i=1,2 决策面方程：g1(x)=g2(x) 决策规则 如果gi(x)gj(x) i,j=1,2 且i不等于j， 则x属于wi 多类别情况决策规则： 如果 则将x归于wi类 决策面 当wi的决策域与wj的决策域相邻时，一下关系决定了相应的决策面 gi(x)=gj(x) 图2.5a表示了一个三类别问题用一维特征空间时的所有决策边界，而图2.5b则表示了相应的二维特征空间中的决策边界 两类别问题分类器的框图： 多类别分类器的结构框图： 贝叶斯分类器 刘振峰 内容 数学知识 几种常用的决策准则 判别函数、决策面与分类器设计 1.概率论基本知识 确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。 随机变量 随机变量：随机事件的数量表示； 离散随机变量：取值为离散的随机变量 ； 连续随机变量：取值为连续的随机变量 ； 频率和概率 频率：试验在相同的条件下重复N次，其中M次事件A发生，则A发生的频率为：fN(A) = M / N； 概率：当N很大时，频率会趋向一个稳定值，称为A的概率： 联合概率和条件概率 联合概率：设A，B是两个随机事件，A和B同时发生的概率称为联合概率，记为：P(A, B)； 条件概率：在B事件发生的条件下，A事件发生的概率称为条件概率，记为：P(A|B)； 乘法定理：P(A|B) = P(A, B) / P(B)。 概率密度函数 概率分布函数：设X为连续型随机变量，定义分布函数；F(x) = P(X≤x)； 概率密度函数：给定X是随机变量，如果存在一个非负函数f(x)，使得对任意实数a,b(ab)有 P（a＜X≤b) = ∫f(x)dx, （积分下限是a,上限是b) ，则称f(x)为X的概率密度函数 贝叶斯公式P( cj|x) = P(x|cj)P(cj) P(x) 先验概率P(cj) 联合概率P(x|cj) 后验概率P(cj|x) 先验概率P(cj)P(cj)代表还没有训练数据前，cj拥有的初始概率。P(cj)常被称为cj的先验概率(prior probability) ，它反映了我们所拥有的关于cj是正确分类机会的背景知识,它应该是独立于样本的。如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率。不过通常我们可以用样例中属于cj的样例数|cj|比上总样例数|D|来 近似，即 联合概率P(x|cj)联合概率是指当已知类别为cj的条件下，看到样本x出现的概率。若设x = a1,a2…am 则P(x|cj)= P(a1,a2…am| cj) 后验概率P(cj |x)即给定数据样本x时cj成立的概率,而这正是我们所感兴趣的P(cj|x )被称为C的后验概率（posterior probability），因为它反映了在看到数据样本x后cj成立的置信度 2.几种常用的决策准则 不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是:基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策额 2.1基于最小错误率的贝叶斯决策 分类器中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？ 当某一特征向量X只为某一类物体所特有，即对其作出决策是容易的，也不会出什么差错。问题在于出现模凌两可的情况。此时，任何决策都存在判错的可能性。 条件概率：P(*|#)是条件概率的通用符号，P(wk|X)是表示在X出现条件下，样本为wk类的概率。基于最小错误率的贝叶斯决策 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 （1）后验概率: 如果则(2)如果则 (3)似然比：如果则否则如果则否则 (4)似然比写成相应的负对数形式 例题1 假设在某地区切片细胞中正常（w1）和异常（w2）两类的先验概率分别为p(w1)=0.9,p(w2)=0.1。现有一待识别细胞呈现出状态 x，由其类条件概率密度分布曲线查