朴素贝叶斯算法教学教材.docVIP

朴素贝叶斯算法 精品文档 精品文档 收集于网络，如有侵权请联系管理员删除 收集于网络，如有侵权请联系管理员删除 精品文档 收集于网络，如有侵权请联系管理员删除 问题描述 用高效朴素贝叶斯算法对Web 新闻文本进行分类模型的设计 2.算法结构 我们要判别一个文本的类别，就要计算出该文本属于各类别条件概率，根据贝叶斯原理可以得出: （1.1） 然后比较各类别条件概率大小，选择类别条件概率最大者为该文本分类，如下 （1.2） 而要计算出，先要先验概率,其计算方法如下： 先将展开其变成由一个由词语为单位组成的词组向量，即，然后得出： （1.3） 而则是训练样本各类别文本数量与训练样本总数之比，计算公式如下： （1.4） 至于它是表示每篇训练文档出现的概率，因为都一样，所以在实际计算时可以不用考虑。 所以实际计算的公式可以估算为 （1.5） 由式(1.5)可知，然而这样多个小数连续相乘最后的结果会非常小导致出现下溢问题，令计算结果无效。为解决这个问题，我们在使用式(1.5)计算时需要做一些数学转换来防止出现这个数值下溢问题，而这些数学处理就令等式1.5 两边取对数，如下： （1.6） 3.特征提取 本文将采用 jieba 分词模块来对文本进行分词及提取有代表性的关键词作为特征，jieba 分词模块自带的词库中包含着每个词的词频(TF)及反文档频率(IDF)，每个词的 TF 值，IDF 值均由原作者通过大量文本训练统计出来的，所以具有一般性，使用该方法得到的关键词用人工标准来判断能反映出文本主题。当使用 jieba 分词模块的提取关键词功能时，它会对在对文本进行分词的同时会利用每个词的 TF 值及 IDF值计算出每个词的权重(Weight = TF*IDF)，然后根据权重大小对词进行排序，至于返回前多少歌词则由用户设定。另外，在使用提取特征词功能的时候还能去除标点符号及对文本主题无意义的停用词。根据 jieba 分词模块提取关键词的方法可知，它直接可以对单个文本提取关键词，利用这个特点，在对待分类文本也作关键词提取处理，只保留当中有代表性的关键词，这样既能大大减少生成词向量的时间又能提高分类准确率。 4.设计算法 采用朴素贝叶斯算法作为文本分类算法时，因其每个特征出现概率相互独立且每个特征重要程度相等的假设，所以选择一种高效的特征选择方法显得尤为重要。本文运用jieba 中文分词模块的TF-IDF标准对训练新闻文本进行特征选择，实现一个基于朴素贝叶斯的文本分类模型。 5.训练算法 模型的训练是利用已转换为词向量的训练文本计算出每类文本的先验概率 ,其计算过程的伪代码如下： for each document ∈ training dataset: for each class ∈ training dataset: if a word appear ∈ document: increase the count for the word for each class ∈ training dataset: for each word ∈ document: divided the count of each word by total count of words to get the prior probability return the prior probability 训练结果为四个由四类文本所包含的词在该类文本所出现的概率组成的长度为 23368 数组，如下： 军事类：[?8?9?9…, ?9?9 财经类：[?9?9?9..., ?9?9 体育类：[?9?9?9..., ?9?9 社会类：[?9?9?8..., ?9?9 注：因为各个词出现的概率都作了取自然对数的处理，所以均为负值。 总结 表1 军事类新闻 财经类新闻 体育类新闻 社会类新闻 查全率 98.82