一种基于Hadoop平台的并行朴素贝叶斯网络舆情快速-中国云计算.PDF

应用论文 一种基于Hadoop 平台的并行朴素贝叶斯 网络舆情快速分类算法* 马 宾 1,2,3 殷立峰 1 1( 山东政法学院信息科学技术系 济南 250014) 2(证据鉴识山东省重点实验室( 山东政法学院) 济南 250014) 3( 山东大学电气工程学院 济南 250061 ) 摘要: 【目的 】研究Hadoop 平台下一种改进的并行朴素贝叶斯算法并实现网络舆情信息分类。【应用背景 】网 络舆情信息存在数据量大, 分散度高, 数据非结构化等特点, 现有技术难以实现网络舆情的准确、快速分类。【方 法 】利用Hadoop 平台分布式数据存储与并行处理的优良特性, 实现朴素贝叶斯分类算法的并行化运行; 将采集 的舆情文档依照HDFS 架构进行本地化存储, 并通过MapReduce 进程完成并行分类处理。【结果 】对MapReduce 封装后的并行朴素贝叶斯分类算法进行性能测试, 结果表明本算法分类效率比集中式舆情分类算法提升 82%, 分类准确率达到85%以上。【结论 】本算法能够有效提升网络舆情分类能力与分类效率。 关键词: 网络舆情 Hadoop MapReduce 朴素贝叶斯 分类 分类号: TP391.1 1 引 言 数据的分类处理[5] 。因此, 研究一种基于Hadoop 平台 的并行朴素贝叶斯分类算法实现的网络舆情快速分类 网络舆情是指在互联网上形成的对社会现象不同 处理, 提升网络舆情分类的响应速度和分类能力, 实 观点的网络舆论[1] 。随着社交媒体、智能终端等新技 现网络舆情在线分类、分析与监测, 对于引导网络舆 术的快速发展, 互联网每日产生的网络舆情数据正以 情健康发展具有重要意义。 几何形式增加, 因而, 对海量的舆情信息进行分类管 理并及时发现敏感信息, 实现不同主题舆情信息的收 2 需求分析及技术思路 集、分析、监测、预警成为迫切需求[2] 。网络舆情因 具有数据量大、信息分散度高、数据非结构化等特点, 通过网络舆情来挖掘和理解别人的观点由 Dave 传统的客户机/服务器(C/S)式集中数据处理方式以及 等[6]于2003 年在WWW 会议上发表的论文中提出, 理 基于关系型数据库的结构化数据分类方法难以实现网 想的舆情观点挖掘工具应能够将主题搜索结果生成不 络舆情的有效分类[3] 。以Hadoop 为代表的云计算技术 同属性类别的集合, 整合出观点的情感倾向。2008 年, 快速发展为大规模数据的分布式处理提供了可能, 成 Allan 等[7]采用向量空间模型(VSM)表征新闻文本, 通 为近年来的研究热点[4]; 朴素贝叶斯分类算法作为一 过特征词和频率构成文本特征向量, 利用自然语言处 种简单、高效的统计分类算法, 广泛适用于非结构化 理技术(NLP)实现话题监测任务。随着现代社会复杂程 通讯作者: 马宾, ORCID: 0000-0002-9030-7393, E-mail: mab@ 。 *本文系国家自然科学基金项目“空间随机模型估计信息分类问题研究”(项目编号、山东省自然科学基金项目“基于光纤传感 的在线监测技术研究”(项目编号:ZR2012FM014)和济南市高校院所自主创新计划项目“基于Hadoop平台的网络舆情并行分析系统”(项目编 号: JN201401206)的研究成果之一。 78 现代图书情报技术 总第255 期 2015 年 第2 期 度的提高, 恐怖主义的威胁等因素, 西方国家对舆情 据处理技术迅速发展, 通过大数据的并行处理与分布