贝叶斯决策理论分析.pptVIP

2.3.1 预备知识（续） （2）多元正态分布 左图的投影 多元正态分布 协方差矩阵： 均值向量： 2.3.1 预备知识（续） （3）多元正态分布的协方差矩阵 区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是协方差矩阵的特征向量方向； 2.3.2 贝叶斯统计决策的决策面与判别函数 例如：最小错误率贝叶斯决策规则（两类情形） 如果 如果 则 则 类 类 根据决策规则只能确定样本 属于哪一类，而现在欲求决策面（分类面）。 若 位于决策面上，应该有 决策面方程： 判别函数： 类 类 决策面：如果按某种决策规则将空间分成若干个决策域，则将决策域的边界称为决策面。 判别函数： 用于表达决策规则的函数。 例如： 决策面方程： 决策面在数学上的解析表示。 例如： g(x) 阈值单元 判别函数的判别功能示意图 2.3.2 贝叶斯统计决策的决策面与判别函数（续） 为一维时，决策面为一点； 为二维时，决策面为曲线； 为三维时，决策面为曲面； 大于三维时，决策面为超曲面。 决策面方程的形态： 为二维时 为一维时 为三维时 2.3.2 贝叶斯统计决策的决策面与判别函数（续） 2.3.3 正态概型下的最小错误率贝叶斯决策的判别函数 （1）“最小错误率贝叶斯决策”的判别函数与决策面的推广： （两类情形） 取对数前后，所求决策面不变 推广至多类 2.3.3 正态概型下最小错误率贝叶斯决策的判别函数（续） 决策面： 判别函数： （2）如果类条件概率密度 服从正态分布： 则判别函数： 决策面： （3）为什么假设类条件概率密度 服从正态分布 2.3.3 正态概型下最小错误率贝叶斯决策的判别函数（续） 数学上简便性： 除了一些极其简单与不甚实用的统计分布模型外，正态分布可说是数学上最简便的一种。正态分布有许多良好的性质，便于对统计决策方法进行分析。 物理上的合理性： 在许多实际应用场合，如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的。人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度。 2.3.4 正态概型下最小错误率贝叶斯决策的讨论 判别函数： 决策面： 以上决策面表达式很复杂，因此讨论以下两种特殊情形； 类条件概率密度： （1） （2） 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） 第一种情形： 判别函数： 决策面： 判别函数： 决策面： 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） （1）若 判别函数： 决策面： 决策面： 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） （2）若 判别函数： 决策面： 展开并忽略与i无关的项 （具体过程见教材P31） 判别函数： 决策面： 其中 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） 决策面离开先验概率大的那个类的均值向量而朝先验概率较小的那类方向移动。 判别函数： 决策面： 其中 第二种情形： 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） 判别函数： 决策面： （具体推导过程见教材P33） 决策面： 其中 判别函数： 2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续） 决策面： 其中 判别函数： 则 决策面过 点，但不与 方向正交。 2.4 分类器的错误率问题 2.4.1 对分类错误率的直观认识 分类错误率 = 被错分的样本数 / 样本总数 分类方案一 分类方案二 在分类中，希望分类错误率尽可能地小。 以上是最简单的情形（全体样本已知），但在很多情形下（如只知部分样本，或只知样本的分布），分类错误率并不容易计算。 分类错误率是衡量分类性能好坏的标尺。 2.4.2 分类错误率的三种计算方式 （1）在一些特殊情形下按理论公式计算 平均错误率： （是 的期望） 的概率密度 对 进行分类（决策）时的错误 决策规则（两类时）： 如果 如果 则 则 (2-6) 例：基于最小错误率的贝叶斯决策（前面讲过） （2）计算分类错误率的上界 错误率的理论计算一般相当困难，当不能从理论上直接计算时，往往去寻找它的上界。 教材第38页介绍了Chernoff上界（很复杂）； 第六章将推导近邻法错误率的上界； 2.4.2 分类错误率的三种计算方式（续） （3）利用样本集进行实验估计 （教材上没有） 2.4.2 分类错误率的三种计算方式（续） 学习样本集与测试样本集 分类方案 测试样本集 学习样本集 2.4.2 分类错误率的三种计算方式（续） 留一法（lea