朴素贝叶斯分类器详细介绍.pdf

朴素贝叶斯分类器是一种应用基于独立假设的贝叶斯定理的简单概率分类器.更 精确的描述这种潜在的概率模型为独立特征模型。 目录 [隐藏] ? 1 简介 ? 2 朴素贝叶斯概率模型 ? 3 贝叶斯分类器特点 ? 4 参数估计 ? 5 样本修正 ? 6 从概率模型中构造分类器 ? 7 实例 o 7.1 性别分类 . 7.1.1 训练 . 7.1.2 测试 o 7.2 文本分类 ? 8 讨论 ? 9 参见 ? 10 参考文献 ? 11 外部链接 简介[编辑] 贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概 率的情况下，如何完成推理和决策任务。概率推理是与确定性推理相对应的。 而朴素贝叶斯分类器是基于独立假设的，即假设样本每个特征与其他特征都不 相关。举个例子，如果一种水果其具有??，圆，直径大概 4 英寸等特征，该水 果可以被判定为是苹果。 尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器 认为这些属性在判定该水果是否为苹果的概率分布上独立的。朴素贝叶斯分类 器依靠精确的自然概率模型，在有监督学习的样本集中能获取得非常好的分类 效果。在许多实际应用中，朴素贝叶斯模型参数估计使用最大似然估计方法， 换而言之朴素贝叶斯模型能工作并没有用到贝叶斯概率或者任何贝叶斯模型。 尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复 杂的现实情形中仍能够取得相当好的效果。2004 年，一篇分析贝叶斯分类器问 题的文章揭示了朴素贝叶斯分类器取得看上去不可思议的分类效果的若干理论 上的原因。[1] 尽管如此，2006 年有一篇文章详细比较了各种分类方法，发现更 新的方法（如 boosted trees 和随机森林）的性能超过了贝叶斯分类器。[2] 朴 素贝叶斯分类器的一个优势在于只需要根据少量的训练数据估计出必要的参数 （变量的均值和方差）。由于变量独立假设，只需要估计各个变量的方法，而 不需要确定整个协方差矩阵。 朴素贝叶斯概率模型[编辑] 理论上，概率模型分类器是一个条件概率模型。 独立的类别变量 有若干类别，条件依赖于若干特征变量 , ,..., 。但 问题在于如果特征数量 较大或者每个特征能取大量值时，基于概率模型列出 概率表变得不现实。所以我们修改这个模型使之变得可行。 贝叶斯定理有以下 式子： 用朴素的语言可以表达为： 实际中，我们只关心分式中的分子部分，因为分母不依赖于 而且特征 的值 是给定的，于是分母可以认为是一个常数。这样分子就等价于联合分布模型。 重复使用链式法则，可将该式写成条件概率的形式，如下所示： 现在“朴素”的条件独立假设开始发挥作用:假设每个特征 对于其他特征 , 是条件独立的。这就意味着 对于 ，所以联合