第2章-数据处理工具.docx

第二章 数据处理工具 我们的数据来自各个方面，数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 2.1 工具简介 2.1.1 Excel Excel是微软公司Office 系列办公软件的组件之一，它是一个功能强大的电子表格程序。Excel不仅可以将整齐而美观的表格呈现给用户，还可以用来进行数据的分析和预测，完成许多复杂的数据运算，帮助使用者做出更加有根据的决策。同时它还可以将表格中的数据通过各种各样的图形、图表的形式表现出来，增强表格的表达力和感染力。 使用Excel还有如下的优点： 1）轻便，不需要多余的工具或语言环境 2）可视化非常方便 3）简单易上手，对于非技术是个很好的选择 4）学习成本低、学习速度快 使用Excel进行数据可视化的效果，如图2-1所示。 图2-1 Excel数据可视化效果图 2.1.2 R语言 R是一种免费的、开源的语言和操作环境，其初衷是为了统计计算和画图，但是 R语言现在能够做的事情已经远远地超出了其初衷，可以在诸多领域进行应用，比如，数据挖掘、机器学习、社交网络、生物信息、金融数据分析等。同时，R 提供了成千上万的专业模块和实用工具，是从大数据中获取有用信息的绝佳工具。 R是一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理系统；数组运算工具（其向量、矩阵运算方面功能尤其强大）；完整连贯的统计分析工具；优秀的统计制图功能；简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。R 语言配有专业的图形交互界面，对没有编程基础的用户也非常友好， R 语言上手入门极快，是学习数据分析、数据挖掘的最佳编程语言。 R的优势在于有包罗万象的统计函数可以调用，特别是在时间序列分析方面（主要用在金融分析与趋势预测）无论是经典还是前沿的方法都有相应的包直接使用。R的使用人群主要是一些高校、医药的统计学家，新出现的理论很快就被社区开发出相应的库，以供调用。 使用 R 进行分析、数据可视化与建模的优势： 1）为分析提供了极好的灵活性； 2）R 使你在分析的时候更容易思考； 3）由于有着十分活跃的统计与数学社区，可以持续的更新和增强分析功能优秀的数据可视化工具； 4）优秀的数据可视化工具。 使用R语言进行数据可视化的效果，如图2-2所示。 图2-2 R语言预测美国总统效果图 2.1.3 MATLAB MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。 MATLAB是matrixlaboratory两个词的组合，意为矩阵工厂（矩阵实验室）。主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，代表了当今国际科学计算软件的先进水平。 MATLAB的优势： 1）高效的数值计算及符号计算功能，能使用户从繁杂的数学运算分析中解脱出来； 2）具有完备的图形处理功能，实现计算结果和编程的可视化； 3）友好的用户界面及接近数学表达式的自然化语言，使学者易于学习和掌握； 4）功能丰富的应用工具箱(如信号处理工具箱等) ，为用户提供了大量方便实用的处理工具。 使用Matlab实现曲线拟合，如图2-3所示。 图2-3 Matlab实现曲线拟合效果图 2.1.4 python python是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。 python是一种脚本语言，写好了就可以直接运行，省去了编译链接的麻烦，对于需要多动手实践的初学者而言，也就是少了出错的机会。而且python还有一种交互的方式，如果是一段简单的小程序，连编辑器都可以省了，直接敲进去就能运行。 python是一种清晰的语言，用缩进来表示程序的嵌套关系可谓是一种创举，把过去软性的编程风格升级为硬性的语法规定。再不需要在不同的风格间选择、再