《数据采集与处理：基于python》 课件 付东普 第5--11章 文件读写与操作---数据集成与ETL技术.pptx

第5章

文件读写与操作;;文件读写基本操作;文件的概念及分类;文件的概念及分类;文件基本操作;内置函数open();内置函数open();图示;图示;内置函数open();文件对象属性与常用方法;上下文管理语句with;文本文件内容操作案例精选;文本文件内容操作案例精选;文本文件内容操作案例精选;二进制文件与对象序列化;pickle模块读写二进制文件;pickle模块读写二进制文件;struct模块读写二进制文件;struct模块读写二进制文件;shelve模块操作二进制文件;shelve模块操作二进制文件;marshal模块操作二进制文件;marshal模块操作二进制文件;文件与文件夹操作;os模块;os模块;os模块;os模块;os模块;os.path模块;os.path模块;os.path模块;shutil模块;shutil模块;shutil模块;综合案例解析;CSV文件操作;最简单的(也是结构最少的)是CSV-逗号分隔值（Comma-SeparatedValues文件，有时也称为字符分隔值，因为分隔字符也可以不是逗号，可以是制表符、分号、冒号等。CSV不是一种正式的文件格式，而是一个以文本文件表示的表，其中单元格由分隔符分隔。通常，第一行表示标题。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。

“CSV”并不是一种单一的、定义明确的格式（尽管RFC4180有一个被通常使用的定义）。因此在实践中，术语“CSV”泛指具有以下特征的任何文件：纯文本，使用某个字符集，比如ASCII、Unicode、EBCDIC或GB2312；由记录组成（典型的是每行一条记录）；每条记录被分隔符分隔为字段（典型分隔符有逗号、分号或制表符；有时分隔符可以包括可选的空格）；每条记录都有同样的字段序列。;CSV规则：

开头是不留空，以行为单位。

可含或不含列名，含列名则居文件第一行。

一行数据不跨行，无空行。

以半角逗号（即，）作分隔符，列为空也要表达其存在。

列内容如存在半角引号（即），替换成半角双引号（）转义，即用半角引号（即）将该字段值包含起来。

文件读写时引号，逗号操作规则互逆。

内码格式不限，可为ASCII、Unicode或者其他。

不支持数字

不支持特殊字符

;CSV格式例子，如本书配套练习文件hit_albums.csv：

Artist,Album,Genre

MichaelJackson,Bad,Pop,funk,rock

在这???，Album是由逗号分隔的多种Genre。但是，逗号也用于分隔各个列。为了解决这个问题，通常使用双引号来表示引号中包含的所有元素都不是定界符:

Artist,Album,Genre

MichaelJackson,Bad,Pop,funk,rock

现在，可以清楚Pop,funk,rock应该属于一个单元

;读取CSV文件有多种方法。可以使用Python的基本文件读(和写)操作，也可以使用CSV模块读写，还可以使用Pandas模块对CSV文件内容更便捷地读写操作。

Pandas模块提供了多种数据源的操作方法，如CSV、JSON、HDF、Excel、HTML甚至关系数据库等。;Python3中的默认的编码解码方式为utf-8

Windows系统默认使用的编码方式为gbk

当读取一个Windows文件(gbk),可以指定读取时使用的编码encoding=(gbk)或者不需要指定。

当Python写入文件时,默认使用的utf-8编码,在Windows上打开会乱码,因为Windows默认编码是gbk

#Python内置open函数打开文件

albums_file=open(hit_albums.csv,r,encoding=(utf-8))

#通过文件对象的read函数一次性读取所有文件内容

content=albums_file.read()

#注意:行以特殊字符、换行符或换行符结束\n.如果打印出来,\n会被翻译为新行

print(content)

#在读取文件之后，我们必须再次手动关闭它以释放操作系统资源:

albums_file.close()

;或者，我们可以分别读取每一行:

albums_file=open(hit_albums.csv,r,encoding=utf-8)

line1=albums_file.readline();

print(line1)

#输出：Artist,Album,Released,Genre,Certifiedsales(millions),Claimedsales(millions)

#字符串的split函数，可以指定分隔符拆分字符串

line1.split(,)