周志华机器学习西瓜书全书章pptChap贝叶斯分类器.pptVIP

第七章：贝叶斯分类器 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实施决策的基本方法。 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实施决策的基本方法。 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。 假设有 种可能的类别标记，即 ， 是将一个真实标记为 的样本误分类为 所产生的损失。基于后验概率 可获得将样本 分类为 所产生的期望损失（expected loss）或者称条件风险（conditional risk） 我们的任务是寻找一个判定准则 以最小化总体风险 贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总体风险 也将被最小化。 贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总体风险 也将被最小化。 这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总体风险，只需在每个样本上选择那个能使条件风险 最小的类别标记，即 此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应的总体风险 称为贝叶斯风险 (Bayes risk) 反映了分类起所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险 贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险 于是，最小化分类错误率的贝叶斯最优分类器为 即对每个样本 ，选择能使后验概率 最大的类别标记。 贝叶斯决策论 不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验概率 。 然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限的训练样本尽可能准确地估计出后验概率 。 主要有两种策略： 判别式模型（discriminative models） 给定 ，通过直接建模 , 来预测 决策树，BP神经网络，支持向量机 生成式模型（generative models） 先对联合概率分布 建模，再由此获得 生成式模型考虑 贝叶斯决策论 生成式模型 贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 先验概率 样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理） 贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 先验概率 样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理） “证据”（evidence）因子，与类标记无关 贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 先验概率 样本空间中各类样本所占的比例，可通过各类样本出现的频率估计（大数定理） “证据”（evidence）因子，与类标记无关 类标记 相对于样本 的“类条件概率” (class-conditional probability), 或称“似然”。 章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法 极大似然估计 估计类条件概率的常用策略：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布参数估计。 记关于类别 的类条件概率为 ， 假设 具有确定的形式被参数 唯一确定，我们的任务就是利用训练集 估计参数 极大似然估计 估计类条件概率的常用策略：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布参数估计。 记关于类别