模式识别统计判别.pptVIP

第四章 统计判别 贝叶斯决策理论 在现实世界中，由于许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。 特征值不再是一个确定的向量，而是一个随机向量。 此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。 分类要求 分类思路 已知类的先验概率、类概密，按照某种准则能够使我们的分类识别结果统计上是最佳的。 4.1最小误判概率准则判决 判别函数 判决规则 决策面方程 例子 分类器设计： 3、（多变量）多维正态分布 （1）函数形式： 判别函数 最小错误率(Bayes)分类器 判别函数 讨论：针对ω1，ω2二类情况 § 关于分类器的错误率分析 1、一般错误率分析： 4.2 最小风险Bayes分类器 假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病) λ22；第四类，判错(肺病→正常) λ12 。 在判断时，除了能做出“是” ωi类或“不是” ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念： 一些概念 一些概念（续） 例子 二类问题：把x归于ω1时风险： 把x归于ω2时风险： 结论 4.3 最大最小判别准则 前边的讨论都是假定先验概率不变，现在讨论在P(ωi)变化时如何使最大可能风险最小，先验概率P(ω1)与风险R间的变化关系如下： 这样，就得出最小风险与先验概率的关系曲线，如图所示： 讨论： 4.4聂曼-皮尔逊判决neyman-pearson 例：两类的模式分布为二维正态 协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则 T. 解： 4.5 序贯判决 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,…,xi)T 则对于ω1，ω2两类问题, 若X ∈ ω1，则判决完毕 若X∈ ω2 ，则判决完毕 若X不属ω1也不属ω2 ，则不能判决，进行第i+1次观察，得X=(x1,x2,…,xi,,x i+1)T ，再重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。 现在来确定A、B的值。 因为 序贯分类决策规则： 条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。 最小风险Bayes决策规则： 上式证明，所选的判别边界，使两类的概率相等： 这时可使最大可能的风险为最小，这时先验概率变化，其风险不变 结论 所以此时聂曼——皮尔逊分类器的分界线为： 由图可知为保证ε2足够小，边界应向ω1一侧靠，则ε1↑ T与ε2的关系表如右： 0.04 0.09 0.16 0.25 0.38 ε2 4 2 1 ? ? T * * 作为统计判别问题的模式分类 1、各类别总体的概率分布是已知的； 2、要决策分类的类别是一定的。 对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ ω ?) ?=1,2,…。如图所示 利用贝叶斯公式 ： 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。 、两类问题 例如：细胞识别问题 ω1正常细胞，ω2异常细胞 某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区 某人细胞x属何种细胞 ，只能由 先验概率决定。 设N个样本分为两类ω1，ω2。每个样本抽出n个特征， x =（x1， x2， x3，…， xn）T 通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。 1、判别函数： 若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ ω 1)， P(x/ ω 2)。 则可得贝叶斯判别函数四种形式 ： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲