Spark框架下利用分布式NBC的大数据文本分类方法.PDFVIP

———————————————————————————————————————————————— Spark 框架下利用分布式NBC 的大数据文本分类方法 作者 臧艳辉，赵雪章，席运江 机构 佛山职业技术学院；华南理工大学 DOI 10.3969/j.issn.1001-3695.2018.07.0407 基金项目 国家自然科学基金资助项目；佛山市科技计划项目（2015AB004241） 预排期卷 《计算机应用研究》2019 年第36 卷第12 期 摘要 针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战，提出了基于 MapReduce 和Apache Spark 框架的分布式朴素贝叶斯文本分类方法。提出的方法通过研究 MapReduce 和Apache Spark 框架的适应性来探索朴素贝叶斯分类器（NBC），并研究了现有 面向大数据的计算框架。首先，基于朴素贝叶斯文本分类模型将训练样本数据集分为m 类。 进一步在训练阶段中，将前一个MapReduce 的输出作为后一个MapReduce 的输入，采用四 个MapReduce 作业得出模型。该设计过程充分利用了MapReduce 的并行优势。最后，在分 类器测试时取出最大值所属的类标签值。在Newgroups 数据集进行实验，在所有五类新闻数 据组上的分类都取得了99%以上的结果，并且均高于对比算法，证明了本文方法的准确性。 关键词 文本分类；MapReduce；Spark 框架；分布式；朴素贝叶斯分类器；机器学习 作者简介 臧艳辉（1978-），女，湖北襄阳人，高级工程师，硕士，主要研究方向为大数据 图形图像处 ､ 理（zangshirley@126.com）；赵雪章（1972-），男，河南南阳人，副教授，硕士，主要研究 方向为大数据 智能算法；席运江（1973-），男-，河南南阳人，副教授，博士，主要研究方 ､ 向为知识网络 大数据等． ､ 中图分类号 TP311 访问地址 /article/02-2019-12-039.html 投稿日期 2018 年7 月2 日 修回日期 2018 年8 月27 日 发布日期 2018 年10 月9 日 Spark框架下利用分布式NBC 的大数据文本分类方法 ———————————————————————————————————————————————— 引用格式 臧艳辉, 赵雪章, 席运江. Spark 框架下利用分布式 NBC 的大数据文本分类方法[J/OL]. 2019, 36(12). [2018-10-09]. /article/02-2019-12-039.html. 36 12 Vol. 36 No. 12 第 卷第 期 计算机应用研究 录用定稿 Application Research of Computers Online Publication Spark 框架下利用分布式NBC 的大数据文本分类方法 * 1 1 2