《数据挖掘与机器学习》 课件2.2.1 数据读取与写入.pptx

8南宁职业技术学院

NCVTNANNINGCOLLEGEFORVOCATIONALTECHNOLOGY

厨

数据挖掘与机器学习

DATAMININGA°NDMACHINELEARNING

处理农产品基本信息数据

农产品信息可视化分析

——NumPy、pandas与Matplotlib库

水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考

和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生产方式，有助于推动农业的可持续发展。

本任务先了解水稻信息数据的情况，根据数据检测的内容可知数据存在缺失值、重复值、异常值的情况，并对数据中的缺失值、重复值、异常值进行处理，增强后续数据分析的效果。

对数据进行仔细的处理和清洗，确保数据的质量可靠，为后续的数据分析和决策提供更

可信的基础，也展现了劳动精神的价值和应用。

处理农产品基本信息数据

任务描述

任务要求

处理农产品基本信息数据

读取农产品基本信息数据。

检测数据缺失值的情况，并进行缺失值处理。

检测数据异常值的情况，并进行异常值处理。

检测数据重复值的情况，并进行重复值处理。

Part1相关知识

·数据读取与写入·pandas数据结构·pandas数据处理

pandas是一个常用的Python数据处理库，支持多种文件格式的读取和写入。

通过引入pandas库，可以使用read_csv()函数读取CSV文件、read_excel()函数读取Excel文件等。

同时，pandas也提供了to_csv()方法将数据写入CSV文件、to_excel)方法将数据写入Excel文件等。

这些函数、方法的使用使数据的读取和写入变得简单方便。

处理农产品基本信息数据

数据读取与写入

CSV文件读取

·如果文本文件是字符分隔文件，那么可以使用读取CSV文件的函数进行读取。·pandas提供了read_csv函数读取CSV文件。

·read_csv函数的基本使用格式如下。

pandas.read_csv(filepath_or_buffer,sep=no_default,header=infer,names=no_default,index_col=None,dtype=None,engine=None,skiprows=None,nrows=None,......)

处理农产品基本信息数据

读写文本文件

pandas提供了read_table函数读取文本文件。

read_table函数的基本使用格式如下。

pandas.read_table(filepath_or_buffer,sep=no_default,names=no_default,index_col=None,dtype=None,skiprows=None,nrows=None,......)

处理农产品基本信息数据

header=infer,engine=None,

读写文本文件

参数名称

参数说明

filepath_or_buffer

接收str。表示文件路径。无默认值

sep

接收str。表示分隔符。read_csv函数默认为“,”,read_table函数默认为制表符“Tab”

header

接收int或列表形式的int。表示将某行数据作为列名。默认为infer

names

接收array。表示列名。无默认值

index_col

接收int、sequence或False。表示索引列的位置，取值为sequence则代表

多重索引。默认为None

read_table函数与read_csv函数的参数说明如下。

处理农产品基本信息数据

读写文本文件

参数名称

参数说明

dtype

接收字典形式的列名或类型名称。表示写入的数据类型(列名为key,数据格式为values)。默认为None

engine

接收c语言或python语言。表示要使用的数据解析引擎。默认为None

nrowS

接收int。要读取的文件行数。默认为None

skiprows

接收list或int或callable。表示读取数据时跳过开头的行数。默认为None

read_table函数与read_csv函数的参数说明如下。

处理农产品基本信息数据

读写文本文件

CSV文件写入

·文本文件的存储和读取类似，对于结构化数据