关于贝叶斯决策理论1(韩宇畴14212816)程序.ppt

在限定一类错误率条件下使另一类错误率为最小的两类别决策 聂曼-皮尔逊判决neyman-pearson 基本思想 两种错误 一种的错误概率固定，另一种尽量小 最小最大决策 问题 先验概率未知 基本思想 使得最大可能的风险做小化 最小最大决策 序贯分类 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 判别函数、决策面与分类器设计 决策面与判别函数 分类决策实质上是在描述待识别对象的d维特征所组成的特征空间内，将其划分为c个决策域， 待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 因此决策域的边界面就是决策面， 在数学上用解析形式表示成决策面方程。 判别函数、决策面与分类器设计 决策面与判别函数 用于表达决策规则的某些函数则称为判别函数。 显然判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。 判别函数、决策面与分类器设计 多类别情况下的判别函数 最小错误率作决策时 决策规则要定义一组判别函数 gi(X)， i=1,2,…，c 而决策规则可表示成 如果 ， 则将X归于ωi类； 判别函数、决策面与分类器设计 多类别情况下的决策面方程 gi(X)= gj(X) 判别函数、决策面与分类器设计 多类别情况下的分类器 判别函数、决策面与分类器设计 两类别问题中，最小错误率作决策时 决策规则的一种形式是 ，否则 则相应的判别函数就是 gi(X)＝P(ωi|X), i=1,2 而决策面方程则可写成 g1(X)＝g2(X) 判别函数、决策面与分类器设计 两类别问题中，最小错误率作决策时 此时决策规则也可以写成用判别函数表示的形式　　如果gi(X)＞gj(X) i,j=1,2 且 i≠j　　则X∈ωi，否则  判别函数、决策面与分类器设计 两类别问题中决策面方程 g (X)=0 判别函数、决策面与分类器设计 两类别问题中的分类器 Bayes决策理论小结 Bayes决策理论: 对特征空间任一点x只要能确定落在该点的样本x属于哪一种类的可能性大，就将这点划分到这类的决策域。 问题: 后验概率P(ωi|X)要通过先验概率和类概率密度函数计算。 Bayes决策是一种通用方法 只在原理上讲特征空间中符合什么条件才能作为哪一类决策域， 而我们希望能把决策域用简便的方式，最好是函数形式划分出来，直接计算判别函数就方便了。 Bayes决策理论小结 显然具体的决策域划分与样本的概率分布有关。 下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 基于最小错误率的贝叶斯决策 几种等价形式： 后验概率形式: 如果 则 x归为ωi 先验概率及类条件概率密度函数表示： 如果 则 x归为ωi 基于最小错误率的贝叶斯决策 几种等价形式： 比值的方式表示， 如果 则x归为ω1 ， 否则x归为ω2 基于最小错误率的贝叶斯决策 几种等价形式： 对数形式 若 则x归为ω1 ， 否则x归为ω2 基于最小错误率的贝叶斯决策 例2.1 假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。 现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4， 试对细胞x进行分类。 基于最小错误率的贝叶斯决策 例2.1 解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率 基于最小错误率的贝叶斯决策 例2.1 根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182 分析:错误概率是多少？ 判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.818 因此判定该细胞为正常细胞比较合理。 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 从平均的意义上的错误率