用似然函数进行模式分类.docVIP

第三章 用似然函数进行模式分类 统计决策和密度函数估计 §1.几种统计决策规则 模式识别就是一个做判决(make decision)的过程，统计模式识别是从已观察到的未知类别的样本，根据统计特性进行分类。基本步骤如下： (1)估计待分类对象的统计特性——密度函数的估计； (2)根据已估计得到的统计特性对未知类别的样本进行分类。 讲课： (1)假设密度函数已知，先讲分类器的设计。 (2)先讲二类问题，再讲多类问题。 统计决策规则有四种： 最小错误率贝叶斯决策； 最小风险的贝叶斯决策； Neuman-Pearson决策； 极小极大决策。 1] 最小错误率的Bayes决策 最小错误率贝叶斯决策是以平均错误率为最小作准则的决策方法。——直观，常用 两类情况： 【解】：后验概率 由贝叶斯公式： 判别准则为若：，则： 即：若：，则： 【定义】：似然比为二个条件密度之比： 判别准则为： 若：，则： 由于分布通常满足正态分布，密度函数为指数形式，所以，一般取似然比的对数（或负对数）： 判别准则可为： 若，则： 若，则： 采用这种判别规则，可以使平均错误率最小。 X来自和的可能性都存在，总可能错判。 若判，则错判的概率为； 若判，则错判的概率为； 最小错误率贝叶斯决策每次判断都能保证错判的概率最小； 平均错误率就是不同X值时的错误率求统计平均， 所以，最小错误率贝叶斯决策在所有X可能的取值范围内处处使错误率最小了，平均下来当然也最小。 多类情况： 【定义】决策函数 第i类的决策函数 2] 最小风险Bayes决策 最小错误率Bayes决策是使得平均错误率最小的决策，该决策没有考虑错误的性质，不同性质的错误将被等同看待。有的时候，需要将不同性质的错误加以区分，例如看病，判别结果分为：有病和无病两种，可犯两种错误： 第一类错误：实际无病，判为有病； 第二类错误：实际有病，判为无病。 第一类错误会导致人精神负担，但第二类错误将延误患者的治疗时间，显然不应该将两种错误等同地看待。因此，提出最小风险Bayes决策。 损失矩阵： 损失 无病（真实） 有病（真实） 无病（判断） 0 5 有病（判断） 1 0 具体数值是根据经验获得的，作为已知量。 解： 将X判为第j类的风险（总的损失）： 则：判别准则为： 如果，则 以二类为例： 最小错误率和最小风险Bayes决策的关系： 3] 正态分布的最小错误率Bayes分类器 条件密度函数满足正态分布。 （1）协方差阵相等（各分量独立且具有相同的方差）——按欧式距离分类，等同于最小距离分类器 决策函数为关于X的线性函数，分界面为线性超平面。 两类都是园，X距哪个近（按欧式距离计算）的就属哪类。 （2）——按马氏距离分类 决策函数为关于X的线性函数，分界面为线性超平面。 （3） 分界面为X的二次函数，可为：超圆，超椭圆，超双曲线，以及超抛物面。 二维二类问题，可根据系数判断分解面的类型。 分类面方程：可写成： 4] 举例 有8个X矢量，分属二类 设：密度函数满足正态分布 求：用贝叶斯分类器分类 ①决策函数 ②分界面 ③验证8个X矢量是否正确分类 解： 第一步：根据训练样本（每类4个训练样本）估计各类的数学期望和协方差，即用训练样本的中心作为该类的数学期望，用训练样本的协方差作为该类的协方差，具体公式如下（正态分布的最大似然估计）： 其中：为第i类的第j个样本。 得： 同理： 得： 同理： 有： 决策函数（正态分布等协方差情况）为： ① ②分界面方程： 得： 为过两类样本中心的超平面。 ③验证：所有样本均满足要求。 说明： （1）现在用4个样本来估计，实际上是远远不够，一般需要大量的样本来进行参数估计； （2）验证结果，所有样本均是正确的，实际上，允许有少量样本出错。事实上，这些样本是精心挑选的。 13