一种基于动态调度的数据挖掘并行算法.docVIP

一种基于动态调度的数据挖掘并行算法 　　摘 要： 相比其他分类算法，朴素贝叶斯算法最大的优点就是适合被并行化改造。由于单机分类算法不适应大规模数据的处理，而云计算动态调度的出现为大数据处理带来了希望，运用并行计算的思想改进算法能提高分类速度。结合朴素贝叶斯算法易于并行化的特点对算法进行相应的改进。在单机串行、Hadoop、Spark以及CUDA平台上进行了性能对比实验，最终证明了分类算法并行化后具有较好的加速比。 　　关键词： 数据挖掘； 朴素贝叶斯； 动态调度； 并行计算 　　中图分类号： TN911?34； TM417 文献标识码： A 文章编号： 1004?373X（2016）15?0156?04 　　Abstract： In comparison with other classification algorithms， the naive Bayes algorithm is suitable for parallel improvement. The single machine classification algorithm is unsuitable for the large?scale data processing， however the occurrence of cloud computing dynamic scheduling brings the hope for big data processing. The parallel computing improvement algorithm is used to enhance the classification speed. The algorithm was improved correspondingly in combination with the easily parallel characteristic of naive Bayes algorithm. The performance contrast experiments were performed on single machine serial mode， Hadoop， Spark and CUDA platform. It is verified that the paralleled classification algorithm has good speed?up ratio. 　　Keywords： data mining； naive Bayes； dynamic scheduling； parallel computing 　　0 引 言 　　传统的基于单机的文本处理方法，在存储容量和处理速度上都遇到了瓶颈，如何处理海量数据是一个重要问题。云计算平台动态调度提供的海量数据的处理能力在文本数据挖掘领域中是非常有效的方案，它能体现出对海量数据的并行计算优势。因此，文本数据挖掘领域的众多研究者将研究重心转移到传统文本数据挖掘算法的并行化研究之中以提高海量数据的处理能力。 　　本文研究基于朴素贝叶斯算法的海量中文微博的情感分类以及算法的并行化。通过有效的情感特征识别方法提取出中文微博的情感特征，在这些特征的基础上对微博进行情感分类，致力于在精度、效率上提高。对微博情感分类技术的研究集中于以下几个方面：设计实现海量微博情感分析系统、设计基于朴素贝叶斯的微博情感分类模块以及在大数据下的算法并行化研究等。最后，将其推广到集群模式下进行实验分析，用开源云计算平台Hadoop框架和下一代云计算大数据核心技术Spark以及通过GPU下CUDA的编程技术提高文本分类效率和性能。基于动态调度改变算法的编程模型，实现算法预期的并行性能优化，解决了海量微博数据的情感分类问题。 　　1 微博情感数据挖掘分类模块 　　情感数据挖掘模块包括：微博数据处理、特征计算和分类器模块。微博数据处理包括数据获取，微博预处理；特征计算模块包括特征提取、构建向量空间模型；分类器模块包括分类器、结果评估。整体的研究结构图如图1所示。 　　1.1 微博数据处理模块 　　微博数据处理模块包括：数据获取和微博文本预处理。 　　（1） 实验中训练集样本和测试集样本来源于互联网，是由实验室根据新浪微博网站API和网络爬虫获取。由于获取的微博中包含的话题标签与句子的情感极性没有必然的联系，为了不影响最终的分类结果，首先要将微博文本中的话题标签去掉，只留下文本中的主体部分。同时还应该做以下几项工作：微博文本规则化处理，统计所选取微博的条数，提取并去除话题标签，按照积极性和消极性把句子分成两类。微博文本的规则化处理目的是减少分词时可能引起的误差，其中包括把英文字符统一成大写，