基于Python语言的大数据分析研究.docxVIP

?

?

基于Python语言的大数据分析研究

?

?

摘要：本文通过分析Python语言的各种有点，研究了Python语言及数据的应用，最后对Sickit-Iearn实现数据进行了分析。

关键词：Python语言;Sickit-Iearn;数据分析

伴随着科学技术水平的不断提升，计算机技术也得到了飞速发展，各个行业领域也发生了翻天覆地的变化，各式各样的数据信息不断出现，信息规模越来越大，推动我国进入到大数据时代。在大数据环境下，许多行业领域都与大数据建立了紧密的联系，决策的制定也很大程度上依赖大数据技术的支持，通过对庞大数据信息进行分析和提取，为公司决策提供科学的依据，不再通过经验和知觉进行决策。数据分析是大数据行业非常重要的一部分。数据分析主要表示为依托于各种形式的统计分析方法对海量数据信息开展分析工作，从中寻找出有价值的信息，并对这些信息进行归纳和总结，得出相应的结论。开展数据分析的根本目的是从庞大繁琐、无规则的数据信息中寻找到有用的数据，从而提高数据信息的价值，同时能够为公司重大决策制定提供依据。Python是提高数据分析性能的重要方式。在2017年，Python语言直接超越其它编程语言，成为了该年度使用频率最高的编程语言，被越来越多的程序员所喜爱。Python本身拥有大量的库，能够为产品开发带来非常大的便利，在数据分析、数据科学等工作中都有着非常普遍的应用，逐步发展成为了第三大编程语言。

1

Python语言概述

Python语言具有非常广泛的运用，属于比较高级的程序设计语言，是由荷兰人吉多·范罗苏姆发明出来的[1]。Python语言在设计初期，就非常重视语言的简洁性以及可读性，因此和C++、Java等编程语言相比，Python語言只需要少量的内容就可以完整表达思想[2]。在20世纪90年代初期，第一代Python语言版本正式问世，发展到如今，Python语言经历了多次的改进和完善，增添了许多新功能、新特征，也更加的全面和整洁，不仅被大量使用到系统管理任务的处理工作中，同时也普遍用于web编程。Python语言拥有容易上手、可移植性好等优点，具体如下。

1.1容易上手

像C语言、Java语言等代码较为复杂，初学者很难在短时间内熟练使用，而Python语言则不同，该语言的运用逻辑较为简单，很容易掌握基本的编程方法，比较适合初学者学习[3]。例如，在利用编程语言实现某个功能时，基于Python语言的编程规模大约只有C语言的10%，当编程人员运用Python语言来进行编程工作，工作速度必将获得大幅提高，这也是Python语言得到迅速发展的重要原因[4]。

1.2面向对象

Python中的所有部分都是对象。一方面可以面向过程开展编程工作，另一方面也可以面向对象编程。一般来说程序是基于数据与功能两个部分组成的对象构建而来的。像C语言、Java语言等在实现面向对象时，往往非常的复杂和繁琐，而通过Python语言的运用，可以非常方便、简单的完成面向对象编程。

1.3可移植性好

Python语言能够与许多平台相兼容，比如说当下影响力比较大的Linux、Windows以及Android系统等，将Python应用到这些系统中仅仅只要增加解释器就可以，非常的方便[5]。

绝大多数语言均为编译型以及解释性，比如说C语言、C++等均是编译型语言，而Python则为解释型语言。C语言源文件基于准备处理、编译与链接等途径，最后在设备上执行目标代码。不同的是Python语言依托于解释器将源代码转变成中间字节码，之后运用Python虚拟机对执行代码进行解释。

1.4多种多样的库

Python本身涵盖了各种各样的标准库，这些库中的资源能够为程序员工作带来极大的便利，涵盖有数据库、WAV文件、XML以及网页浏览器等。另外，Python不仅仅只有标准库，还存在很多高品质的库，比如说Python图像库等。

1.5良好代码规范性

Python在进行代码编写时，通过强制缩进的方法对其进行约束，从而确保完成的代码拥有良好的规范性以及可读性。

2Python及数据分析

在开展数据分析与数据挖掘工作中，Python、R语言以及SAS等都有着非常高的应用频率。Python与R语言同属于开源的，在互联网行业中获得了广泛的应用，与前两者不同的是，SAS是一个付费的商业软件，是现代医疗领域以及金融领域的标杆工具[6]。数据分析的进行必然要经历庞大的数据信息交互，开展探究性计算，最终获得可视性良好的数据结果。随着Python的不断发展和完善，可供其使用的数据库规模逐渐增大，现阶段其第三方数据库总数量已经达到了15.5万个左右。和R语言、SPSS等相比较，Python有若非常丰富的数据库资源，并且这些第三方库能够为数据分析工作带来极大的便利，例如，Numpy、P