十分钟速通pandas操作.docVIP

写在前面

pandas是一款能够提供快速、便捷、表达性数据结构、用于直观、简便地处理数据的工具。可以说是Python中数据分析的利器。

它的主要功能有：

-处理缺失值

例如浮点数或非浮点数中的NaN、NA、NaT等

-数据大小可变性

数据框及更高维数据中的列可以插入与删除

-自动对齐数据

对象可以通过label自动且简便的对齐，例如Series、DataFrame等数据格式。

-方便非标数据转换

其它例如Python与NumPy中的非标、索引各异的数据集也可以快速的转换为DataFrame对象。

-分组功能

可以高效、灵活的对数据进行分组操作，方便后续的数据集处理、整合、传递。

-智能标记

能够通过标记快速的完成切片、索引、取子集等操作。

-能够直接整合或连接数据集

-能够灵活的重塑数据集大小或旋转数据集

-具有层次性的坐标轴标记体系

-能够快速处理平面文件

提供IO工具快速从csv、txt、Excel、数据库、HDF5等格式中读取文件。

-提供丰富的时间序列函数

日期范围生成、频率转换、移动窗口统计、日期移位。

十分钟速通pandas可见:

/pandas-docs/stable/user_guide/10min.html

完整的pandas教程可见：

/pandas-docs/stable/user_guide/cookbook.html#食谱

学习pandas的第一步当然还是安装:

#在你的系统命令行，Linux终端或windows的cmd中完成：

pipinstallpandas

一、对象创建

20.1.1Series创建

#导包：

import?numpy?as?np?#没错，pandas也需要上一章的NumPy相互配合

import?pandas?as?pd

print(fnp.nan的值为:\n{np.nan}\n----------)

##np.nan的值为:

##nan

##----------

s?=?pd.Series([1,?3,?5,np.nan,?6,?8])

print(fSeries对象s的值为:\n{s}\n----------)

##Series对象s的值为:

##0??1.0

##1??3.0

##2??5.0

##3??NaN

##4??6.0

##5??8.0

##dtype:float64

##----------

20.1.2DataFrame创建

DataFrame可以通过多种来源来构建:

#构建数据索引，这一步可以先不管

date_index?=?pd.date_rangeperiods=6)

#构建DataFrame

df?=?pd.DataFrame(np.random.randn(6,?4),index=date_index,columns=list(ABCD))

print(fDataFrame对象df的值为:\n{df}\n----------)

##DataFrame对象df的值为:

##??????????A????B????C????D

##2013-01-01-0.147181?0.587428-0.863894?0.572490

##2013-01-02?0.365699-0.672057?0.322571?0.597059

##2013-01-03?1.758878?0.441373-0.282976?0.520083

##2013-01-04-0.790105?0.090505-1.159519?0.563102

##2013-01-05-0.629065-0.141352?1.602863?1.122806

##2013-01-06?0.743320?0.722647-0.150152?0.124772

##----------

#可以通过字典的形式输入数据构建DataFrame

df2?=?pd.DataFrame(

??{

A:1.0,#A列只包含一个元素，那么对齐时整个一列将会是相同的值

B:pd.Timestamp,

C:pd.Series(1,index=list(range(4)),dtype?=float32),

D:np.array([3]?*4,dtype=int32),

E:pd.Categorical([test,train,test,train])

??}

)

print(fDataFrame对