基于HadoopDirichlet朴素贝叶斯文本分类算法.docVIP

基于HadoopDirichlet朴素贝叶斯文本分类算法 　　摘 要： 针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类任务时存在的数据稀疏以及效率低的问题，提出了一种基于Hadoop的Dirichlet朴素贝叶斯文本分类算法。该算法引入统计语言建模技术中的Dirichlet数据平滑方法，采用MapReduce编程模型，在Hadoop云计算平台上实现了算法的并行化。通过实验对比分析了该算法与传统朴素贝叶斯文本分类算法对大规模文本数据的分类效果。结果表明，该算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率，且具有高效性和易扩展性。 　　关键词： 文本分类； 云计算； MapReduce； 朴素贝叶斯文本； 数据平滑 　　中图分类号： TN911?34； TP311 文献标识码： A 文章编号： 1004?373X（2016）04?0029?05 　　Abstract： When applied to deal with text classification task under the circumstance of big data， Naive Bayes text classification algorithm is always suffered from the data sparse and inefficiency problem. To solve this problem， a Dirichlet Naive Bayes text classification algorithm based on Hadoop is proposed， in which the Dirichlet data smoothing method in statistical language modeling technology is adopted and MapReduce programming model is used to realize the parallelization of the algorithm in Hadoop cloud computing environment. The contrastive analysis on the classification effect of this algorithm and traditional Naive Bayes text classification algorithm for large?scale text data was made through experiments. The experimental results show this algorithm significantly improves the precision rate and recall rate of the traditional Naive Bayes text classification algorithm， and has high efficiency and easy expansibility. 　　Keywords： text classification； cloud computing； MapReduce； Naive Bayes text； data smoothing 　　0 引 言 　　文本分类技术是信息检索与数据挖掘领域的核心技术，主要的算法包括朴素贝叶斯、K最近邻、神经网络和支持向量机等[1]。其中朴素贝叶斯算法在进行文本分类时，假定特征独立于类别，简化了训练和分类过程的计算，具有运行快速、易于实现的特点，因此成为文本分类中广为使用的一种方法，吸引了众多学者的关注。文献[2]提出了一种基于期望最大化（EM）的朴素贝叶斯文本分类算法，提高了对未标注语料的利用率。文献[3]提出了一种基于局部加权的朴素贝叶斯文本分类算法，弱化了特征项间独立性假设。文献[4]将支持朴素贝叶斯文本分类算法同支持向量机算法相结合，提高了分类的准确率。文献[5]提出了一种基于辅助特征词的朴素贝叶斯文本分类算法，提高了类条件概率的精确度。文献[6]提出了一种对特征词权重进行高阶投票的方法，改善了当训练语料不足时分类器的性能。但是，以上研究存在一定的局限性。一方面，在单机上运行的传统朴素贝叶斯文本分类算法，由于其自身扩展性和计算能力的限制，在当前大数据[7]环境下，难以保证数据处理的高效性；另一方面，在文本分类过程中，语言中的大部分词都属于低频词，难以有一个足够大的训练语料能够包含所有的词语，因而会造成数据稀疏问题。对于该问题，很少有学者进行研究。 　　因此，针对数据稀疏问题，本文借鉴统计语言建模技术[8]中的数据平滑方