大数据研究常用软件工具与应用场景.pdf

大数据研究常用软件工具与应用场景 工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数 据科学家所必须掌握的知识技能。 然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实 际情况灵活选择最合适的工具（甚至多种工具组合使用），才能更好的完成研究探索。 为此，本文针对研究人员（非技术人员）的实际情况，介绍当前大数据研究涉及的一些主要工具软 件（因为相关软件众多，只介绍常用的），并进一步阐述其应用特点和适合的场景，以便于研究人 员能有的放矢的学习和使用。 基础篇 传统分析 /商业统计 Excel 、SPSS 、SAS 这三者对于研究人员而言并不陌生。 Excel 作为电子表格软件，适合简单统计（分组 / 求和等）需求，由于其方便好用，功能也能满足很 多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模 小（这一点让很多研究人员尤为头疼）。这两年 Excel 在大数据方面（如地理可视化和网络关系分析 ）上也作出了一些增强，但应用能力有限。 SPSS （SPSS Statistics) 和SAS 作为商业统计软件，提供研究常用的经典统计分析（如回归、方差 、因子、多变量分析等）处理。 SPSS 轻量、易于使用，但功能相对较少，适合常规基本统计分析 SAS 功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性 分析。 上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。 如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理（如降维和统计汇总等） 得到的中间研究结果，就很适合使用它们进行进一步研究。 数据挖掘 数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注 高维空间下复杂数据关联关系和推演能力。代表是 SPSS Modeler （注意不是SPSS Statistics ，其 前身为 Clementine ） SPSS Modeler 的统计功能相对有限 , 主要是提供面向商业挖掘的机器学习算法（决策树、神经元 网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一 点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模 。 另一个商业软件 Matlab 也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而 著名的开源数据挖掘软件 Weka ，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界 或有数据预处理能力的使用者。 中级篇 1、通用大数据可视化分析 近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域， TableAU 无疑是 卓越代表。 TableAU 的优势主要在于支持多种大数据源 /格式，众多的可视化图表类型，加上拖拽式的使用方式 ，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经 典统计和机器学习算法支持， 因此其可以替代 Excel, 但不能代替统计和数据挖掘软件。另外，就实 际处理速度而言，感觉面对较大数据（实例超过 3000 万记录）时，并没有官方介绍的那么迅速。 2 、关系分析 关系分析是大数据环境下的一个新的分析热点（比如信息传播图、社交关系网等），其本质计算的 是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用 的是Gephi 。 Gephi 是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到 的各种社交关系 /传播谱图 , 很多都是基于其力导向图（ Force directed graph ）功能生成。但由于其 由java 编写，限制了处理性能（感觉处理超过 10 万节点 /边时常陷入假死），如分析百万级节点（如 微博热点传播路径）关系时，需先做平滑和剪枝处理。 而要处理更大规模（如亿级以上）的关系网 络（如社交网络关系）数据，则需要专门的图关系数据库（如