R语言环境下的文本可视化及主题分析_以社会服务平台数据为例.pdfVIP

第 卷第 期 宁波工程学院学报 No.1 27 1 Vol.27 2015 年 月 JOURNAL OF NINGBO UNIVERSITY OF TECHNOLOGY 3 Mar.2015 DOI ：10.3969/j.issn.1008-7109.2015.01.004 R 语言环境下的文本可视化及主题分析 ——— 以社会服务平台数据为例 吴丹露，魏 彤，许家清 （宁波工程学院， 浙江 宁波 315211 ） 摘 要： 开源R 软件集成了各种数据分析和可视化方法，具备强大的数据分析功能和良好的可扩展性，适用于数据 挖掘[1] 。 本文结合某社会服务平台的数据挖掘案例，给出了R 软件在挖掘过程中各主要阶段的应用方法。 数据准备阶段包 括数据选择与预处理应用；挖掘建模阶段给出了可视化及主题分析[2] 挖掘应用。 并把所述的方法应用在一个真实的社会 服务数据集上。 关键词： R 软件；数据可视化；主题分析 中图分类号： 文献标识码： 文章编号： （ ） TP315 A 1008 - 7109 2015 01 -0019-07 数据时代，海量的政府服务数据在云端汇集，层出不穷的大数据很容易陷入信息盲区。 如何有效处 [3] 理和理解这些数据，成为人们无法回避的挑战之一。 目前存在各种挖掘软件 ，主流的商用挖掘工具如 、 、 、 和 等，这些软件面向通用挖掘问题，功能较为完善，具备 Unica SAS/EM InsightfulMiner IBM IM SPSS 较好的性能。 但一般都存在可扩展性不强、成本较高等缺点。 R 软件[5][9]是一款集成了数据操作、统计和 可视化功能的优秀开源软件，有效克服了商用数据挖掘工具的缺点。 R 软件的一大优势是分析人员可 利用简单的R 程序语言描述处理过程，构建强大的分析功能。 本文以社会服务平台数据分析为例，通过 具体案例，探讨R 软件在一类数据挖掘[4] 中各主要阶段的应用。 首先利用R 软件的数据挖掘技术对社 会公共服务平台所积压的信息进行提取，同时不断更新信息；其次对所得信息利用R 软件分词包进行 分词、去虚词等预处理，完成信息的整合、分类、词频统计，形成语料库进行文本分析。 将整理后的数据 利用 件的可视化手段—— 化处理， 同时调用 件 界计算及主题表 R 软 —词云进行可视 R 软 LDA 包进行边 示；最后分析了 [10] 软 处理文本数据可 R 件 视化、主题分析的优势，及其在大数据环境下解读社会服务的 可行性、重要性。 1 可视化展示及主题分析 1.1 词云及LDA 模型 本文主要讨论可视化展示中的词云和主题分析中的LDA 模型。 词云[1]是利用语言分析技术，对大数据文本进行词频分析，并生成可视化图像的技术。 由清华大学 计算机系自然语言分析实验室开发的中文 “词云” 就像一把打开数据之门的钥匙—— 万字的文本，