哈工大模式识别第2章精讲.ppt

1、最小距离分类器情况 最小距离分类器的定义是，每个样本以它到每类样本均值的欧氏距离的最小值确定其分类，即若 在正态分布的某一种特殊情况下（样本分布满足以下正态分布条件 ），最小错误率贝叶斯分类器可演化成最小距离分类器。 则X∈ωi 以上条件表明，c类样本都以半径相等的超球面形状分布在特征空间内，且具有相等的先验概率。 |Σ|＝σ2d及Σi-1=σ2I 忽略与类别无关的项，则判别函数为 按gi(X)最大进行决策，即是按距离最小决策 在这种条件下，最小欧氏距离是决定分类的准则 最小距离分类器可看作模板匹配。每个类有一个典型样本(即均值向量)，称为模板，而待分类样本X只要按欧氏距离计算与哪个模板最相似(欧氏距离最短)即可作决定。 2、线性分类器 决策面为超平面的分类器称为线性分类器。 有不止一种正态分布概率模型，可使最小错误率贝叶斯决策的决策面具有超平面形式。 这里我们讨论两种情况。 (1)Σi=σ2I ,i=1,…，c (2)Σi=Σ 线性分类器 (1)Σi=σ2I， i=1,…，c ，P(wi)不等 判别函数: 可简化为 忽略与类别无关的项，则判别函数为一线性函数： 　　 决策面方程 令gi(X)－gj(X)＝0可有 利用 得：WT(X－X0)＝0 其中：W＝μi-μj ；　　 线性分类器 决策面为一超平面 其法线方向为W=μi－μj 通过X0点 当P(ωi)＝P(ωj)时该超平面过(μi+μj)/2点(最小距离分类器) 在二维情况下，就是过μi与μj连线的垂直平分线 当P(ωi)≠P(ωj)时，该超平面的位置要向远离先验概率大的方向偏，但超平面方向不变。 最小距离分类器与线性分类器 最小距离分类器是线性分类器的一个特例 最小距离分类器：在正态分布情况下，是按超球体分布以及先验概率相等的前提下，才体现最小错误率的 最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最相似性的原则，即被分类事物与哪一种作为标准的事物相像，就判为该类这一原则 (2)Σi=Σ 即各类的协方差矩阵都相同 各类样本具有同样概率密度函数的点的轨迹是同样大小和形状的超椭球面。但不同类样本的超椭球面的中心由类均值μi决定 判别函数 忽略与类别无关的项，则判别函数为一线性函数： 其中： 如果c类先验概率都相等，则可简化为（M距离分类器） 决策面方程 令 gi(X)－gj(X)＝0，得 其中： 线性分类器小结 在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等还是不相等，都可以用线性分界面实现。 最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵的倍数，先验概率相等。 最小马氏距离分类器则要求正态分布协方差矩阵相等，先验概率相等。 3、各类协方差矩阵不相等的情况 Σi≠Σj, i,j=1,2,…,c 判别函数 决策面方程 根据gi(X)－gj(X)＝0有　　 决策面为二次超曲面 ： 随着Σi及P(ωi)的不同而呈现不同形式的超二次曲面 如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面 2.8 关于分类器错误率 错误率：衡量分类器性能工具 错误率计算 1、按理论公式计算 实际计算复杂，不容易。在特殊情况下可计算。 2、计算错误率上界 3、实验估计（需要大量已知类别属性的样本，根据分类结果统计得出） 一、一些特殊情况下错误率计算 1、正态分布且协方差阵相等 （Σi=Σ,i=1,2,…,C） 错误率计算，在高维空间进行，难以计算： 负对数似然比，可化为一维处理： 用似然比h(x)密度函数计算错误率 协方差阵相等（Σi=Σ,i=1,2） 正态分布下： p(h|w1)、 p(h|w2)计算 p(h|w1)、 p(h|w2)计算 h(x)是一维随机变量，是X的线性组合，故 h（x）服从正态分布，可用均值和方差描述 错误率 其中： 2、独立随机变量 根据中心极限定理，d足够大（10）时，h(x)服从正态分布，则可计算h(x)的均值和方差：(ηij, σij易统计得到） 负对数似然比： 类条件概率密度： 错误率的计算同1（正态分布且协方差阵相等） 二、错误率上界 Chernoff界限（t,似然比门限） Bhattacharyya界限 当两类的分布都是正态分布时： 问题 贝叶斯决策理论，需要已知： （1）先验概率；（2）类条件概率密度 分类器设计问题转化为概率密度估计问题。 能否不用概率密度等，直接用样本设计分类器？ 判别函数与概率密度无关。 2.5 最