基于朴素贝叶斯算法的垃圾邮件分类Python实现.pptVIP

基于朴素贝叶斯算法的垃圾邮件分类 (Python实现) CONTENTS 目录 0 简介 1 回顾：基本方法 2 算法 3 拉普拉斯平滑 4 实例：邮件分类 5 流行学习 East China Normal University 简介 朴素贝叶斯法：是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y.朴素贝叶斯法实现简单，学习和预测的效率都很高，是业界常用的一种方法。 East China Normal University   Review1:分类问题综述 1 East China Normal University 各种化验检测数据来推断病情，这时医生就好比一个分类器，而这个医生诊断的准确率，与他当初受到的教育方式（构造方法）、病人的症状是否突出（待分类数据的特性）以及医生的经验多少（训练样本数量）都有密切关系。 回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结   Review2:贝叶斯定理 East China Normal University 回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 算法： East China Normal University RID age income student credit_rating class_buy_pc 1 youth high no fair no 2 youth high no excellent no 3 mid high no fair yes 4 senior medium no fair yes 5 senior low yes fair yes 6 senior low yes excellent no 7 mid low yes excellent yes 8 youth medium no fair no 9 youth low yes fair yes 10 senior medium yes fair yes 11 youth medium yes excellent yes 12 mid medium no excellent yes 13 mid high yes fair yes 14 senior medium no excellent no Train_dataset (表格来源：数据挖掘: 概念与技术 第3版) 回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 East China Normal University test:X=(age=youth,income=mediu,student=yes,credit_rating=fair) (1)计算先验概率 P(buy_pc=yes)=9/14=0.643 P(buy_pc=no )=5/14=0.357 条件概率： P(age=youth|buy_pc=yes)=2/9=0.22 P(age=youth|buy_pc=no)=2/5=0.600 P(income=medium|buy_pc=yes)=4/9=0.444 P(income=medium|buy_pc=no)=2/5=0.400 P(student=yes|buy_pc)=1/5=0.200 P(credit_rating=fair|buy_pc=yes)=6/9=0.667 P(credit_rating=fair|buy_pc=no)=2/5=0.400 回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 East China Normal University   回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 如果遇到零概率值怎么办？拉普拉斯平滑。 East China Normal University     回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 流程图： East China Normal University 准备阶段 分类器训练阶段 应用阶段 回顾 算法 拉普拉斯平滑 邮件分类 流行学习 小结 准备数据 从文本中构建词向量（贝努利模型） East China Normal University 从文本中构建邮件向量（words2vec）： 通常有两种实现方式：一种是基于贝努利模型，一种是基于多项式模型实现。我们采用前一种实现方式，将每个词的出现与否作为一个特征（词集模型，相对应的是词袋模型），不考虑单词在文档中出现的次数，因此在这个意义上相当于每个假设词是等权重的。 具体如下： (1）遍历所有邮件,创建一个包含所有文档中出现的不重复的单词集合（即特征）。 (2)对于每一封邮件创建一个与单词集合等长的0向量。接着遍历