数据分析金融入门第五讲Python中输入输出操作精选.ppt

Python金融应用 第五讲、 Python中的输入输出操作  概述 ·作为一项原则,无论是金融还是其他应用领域的数据,都 是存放在硬盘上的,或者是其他形式的水久存储系统,例 如固态硬盘或者虚拟硬盘。近年来计算机的存储能力稳定增 长,而单位存储成木则出现下降 同时,存储的数据量的增长已经远远超过了随机存储内存 (RAM)的能力。这使我们不得不将数据存储在永久存储中, 同时需要在内存和硬盘之间交换数据。 在处理金融应用以及其他数据密集应用时,输入输出操作因 此就是一项重要的工作。通常它对于那些需要很大计算能力 的项目来说起着重要的作用  概述 然今天大多数金融与公司分析都会面临大数据的问题,简单的分析人物通 使用的数据集都还是中度的数据集 Our measurement as well as other recent work shows that the majority of less than 100GB of input, but popular infrastructure such as Hadoop/ Map Reduce were originally designed for tascale processing 从规模上说,简单的金融分析人物通常处理的数据不超过GB的大小,这对 Python以及其科学计算库,例如 NumPy, pandas和 PyTables来说是很合适的 这样规模的数据集合也可以在内存中进行分析,归因于日前比较快的cPU和 GPU,但是即使是在内存中处理,也需要将数据从磁盘上读入,结果再写回 磁盘,这都是需要O操作的 本讲主要讨论以下问题 基本O: Python提供了基本的函数来对任何磁盘上的对象进行序列化 储,以及将它们从磁盘读到内存,除此之外, Python还在处理文件 SQL数据库上具有优势, NumPy提供了专门的函数来对 ndarray对象进 行存储和快速获取 Pandas实现lO: pandas库提供了大量方便的函数和方法读入不同格式 数据(例如cSV和JSON)以及将数据写到不同格式的数据中 sTables实现lO, Py Tables使用HDF5标准来完成对大数据集的O操作 速度通常只受到硬件的限制  Python的基础ⅣO功能 Python本身提供了大量O功能的实现,一些对效果进行 了优化,其他一些是为了灵活性。但是一般来说,它们 在大规模的部署以及交互应用中都是非常方便的 本节将介绍 将对象写入磁盘 写文本文件 ·SQL数据库 读写 NumPy数组  将对象写入磁盘 ·为了以后的应用,为了文档,或者是为了与其他人共享,我们都需 要将 Python对象写到磁盘中。这方面的一个选择是使用 pickle模块 这个模块可以序列化大量的 Python对象。 Serialization指的的是将对 象翻译为二进制流。这个的反过程是反序列化。在接下来的例子中 我们使用伪随机数,它们存放在lst对象 现在我们的任务是将lst对象写入到磁盘,为了以后的读取, pickle可 以完成此项操作。另外两个主要的函数是dump,我们写入对象,以 及load用来将数据导入到内存 我们可以比较写入的对象与之前的对象相同,为了保证相等,可以 使用 allulose方法。原则上说,我们可以计算两个 ndarray对象的差异 并且将它与0作比较。但是 allulose方法对每个参数分配了一个容忍度 水平,默认是设定为1e-5,使用 pickle方法来存储和获得单一对象是 容易的,接着我们写入两个对象。 ·写入两个对象时,我们发现: 我们将原始对象的一个 harray版本写到了磁盘上 我们又在相同的文件中写入了平方的 darrah 所有操作都比之前的操作要更快速,因为使用了 darrah对象 文件大约比以前增大了一倍,因为我们存储了双倍的数据