Python金融数据分析与挖掘（微课版） 课件 3-3.外部文件读取.pptx

第3章数据处理包PandasExcel数据文件读取TXT数据文件读取CSV数据文件读取

Excel文件读取第3章通过read_excel()函数读取Excel文件数据，可以读取指定的工作簿（sheet），也可以设置读取有无表头的数据表。path=一、车次上车人数统计表.xlsx;data=pd.read_excel(path);

Excel文件读取第3章读取文件中Sheet2里的数据data=pd.read_excel(path,Sheet2)#读取sheet里面的数据

Excel文件读取第3章有时候数据表中没有设置字段，即无表头，读取格式如下：dta=pd.read_excel(dta.xlsx,header=None)#无表头

TXT文件读取第3章通过read_table()函数可以读取TXT文本数据。需要注意的是，TXT文本数据列之间会存在特殊字符作为分隔，常见的有Tab键、空格和逗号。同时还需注意有些文本数据文件是没有设置表头的。importpandasaspddta1=pd.read_table(txt1.txt,header=None)#分隔默认为Tab键，设置无表头。

TXT文件读取第3章dta2=pd.read_table(txt2.txt,sep=\s+)#分隔为空格，带表头

TXT文件读取第3章dta3=pd.read_table(txt3.txt,sep=,,header=None)#分隔为逗号，设置无表头

CSV文件读取第3章CSV文件也是一类广泛使用的外部数据文件，对于一般的CSV数据文件可以通过read_csv()函数读取。importpandasaspdA=pd.read_csv(data.csv,sep=,);#逗号分隔

CSV文件读取第3章CSV文件可以存储大规模的数据文件，比如单个数据文件大小可达数GB、数十GB，这时候可以采用分块的方式进行读取。importpandasaspdreader=pd.read_csv(data.csv,sep=,,chunksize=50000,usecols=[3,4,10])k=0forAinreader:k=k+1print(第+str(k)+次读取数据规模为：,len(A))执行结果如下：第1次读取数据规模为：50000第2次读取数据规模为：50000第3次读取数据规模为：33699

CSV文件读取第3章对大规模的CSV文件进行数据探索，可以读取前N行进行分析，比如前1000行importpandasaspdA=pd.read_csv(data.csv,sep=,,nrows=1000)小结：通过pandas包中的函数，读取Excel、TXT和CSV文件，在Python中的数据结构均为DataFrame数据框，进而我们可以利用数据框中的方法进行数据处理和分析了