[2018年最新整理]7-Bayes分类器-第七章.pptVIP

最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ； 第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22； 第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念： 行动αi：表示把模式x判决为ωi类的一次动作。 损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。 损耗函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。 风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗） 条件风险只反映对某x取值的决策行动αi所带来的风险。 期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。 最小风险Bayes决策规则： 在整个特征空间中定义期望风险： 条件风险（也叫条件期望损失）： 二类问题： 把x归于ω1时风险： 把x归于ω2时风险： Bayes分类的算法（假定各类样本服从正态分布） 1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(N×n)。并计算有关参数。 3.计算矩阵y中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。 基于概率统计的bayes分类器 一种经典分类器 第七章 贝叶斯的贡献 1763年，贝叶斯首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于现代概率论和数理统计都有很重要的作用。 贝叶斯的另一著作《机会的学说概论》发表于1758年，贝叶斯所采用的许多术语被沿用至今。他对统计推理的主要贡献是使用了逆概率这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。  贝叶斯决策理论 Bayes分类器—基本概念 一、两类问题 例如：细胞识别问题 ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1)，P(ω2)。若取该地区某人细胞x属何种细胞 ，只能由 先验概率决定。 对x再观察：有细胞光密度特征 ，有类条件概率密度: P(x/ ω ?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。 贝叶斯决策理论 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。 设N个样本分为两类ω1，ω2。每个样本抽出n个特征， x =（x1， x2， x3，…， xn）T 1、判别函数： 若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ ω 1)， P(x/ ω 2)。 则可得贝叶斯判别函数四种形式 ： 2、决策规则： 3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率： P(x/ ω 1)=0.2， P(x/ ω 2)=0.4 g(x) 阈值单元 4、分类器设计： 判别计算 特征向量 决策 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x)。每个判别函数有上面的四种形式。 2.决策规则： 另一种形式： 二、多类情况：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn) 二、多类情况：ω?=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn) 3、决策面方程： 4、分类器设计： g1(x) Maxg(x) g2(x) gn(x) 特征向量 判别计算 最大值选择器 决策 正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： 3、（多变量）多维正态分布 （1）函数形式： 判别函数 类条