《数据挖掘与机器学习》 课件2.2.4 数据合并.pptx

处理农产品基本信息数据农产品信息可视化分析——NumPy、pandas与Matplotlib库

任务描述水稻是全球最重要的粮食作物之一，水稻审定数据可以为农业科技创新提供重要的参考和依据，可以帮助选择高产、优质、抗逆性强的水稻品种，促进绿色、可持续的农业生产方式，有助于推动农业的可持续发展。处理农产品基本信息数据本任务先了解水稻信息数据的情况，根据数据检测的内容可知数据存在缺失值、重复值、异常值的情况，并对数据中的缺失值、重复值、异常值进行处理，增强后续数据分析的效果。对数据进行仔细的处理和清洗，确保数据的质量可靠，为后续的数据分析和决策提供更可信的基础，也展现了劳动精神的价值和应用。

任务要求读取农产品基本信息数据。检测数据缺失值的情况，并进行缺失值处理。检测数据异常值的情况，并进行异常值处理。检测数据重复值的情况，并进行重复值处理。处理农产品基本信息数据

数据读取与写入pandas数据结构pandas数据处理

pandas数据处理处理农产品基本信息数据横向堆叠纵向堆叠堆叠合并主键合并pandas数据处理数据清洗数据合并分组聚合堆叠就是简单地将两个表拼在一起，也被称作轴向连接、绑定或连接。主键合并，即通过一个或多个键将两个数据集的行连接起来.

堆叠合并数据横向堆叠处理农产品基本信息数据横向堆叠，即将两个表在x轴向拼接在一起，可以使用concat函数完成。concat函数的基本使用格式如下。pandas.concat(objs,axis=0,join=outer,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,sort=False,copy=True)

堆叠合并数据处理农产品基本信息数据concat函数的常用参数及其说明如下。参数名称参数说明objs接收多个Series、DataFrame、Panel的组合。表示参与连接的pandas对象的列表的组合。无默认值axis接收int。表示连接的轴向，可选0和1。默认为0join接收str。表示其他轴向上的索引是按交集（inner）还是并集（outer）进行合并。默认为outerignore_index接收bool。表示是否不保留连接轴上的索引，产生一组新索引range(total_length)。默认为Falsesort接收bool。表示对非连接轴进行排序。默认为False

堆叠合并数据处理农产品基本信息数据当参数axis=1时，concat函数可做行对齐，然后将不同列名称的两张或多张表合并。当两个表索引不完全一样时，可以设置join参数选择是内连接还是外连接。横向堆叠外连接示例如图所示。

堆叠合并数据concat函数实现纵向堆叠处理农产品基本信息数据对比横向堆叠，纵向堆叠是将两个数据表在y轴向上拼接，concat函数也可以实现纵向堆叠。当使用concat函数时，在默认情况下，axis=0，concat函数做列对齐，将不同行索引的两张或多张表纵向合并。在两张表的列名并不完全相同的情况下，可以使用join参数，当join参数取值不同，返回的列不同。当两张表的列名完全相同时，不论join参数的取值是inner还是outer，结果都是将两个表完全按照y轴拼接起来。

堆叠合并数据处理农产品基本信息数据纵向堆叠外连接示例如图所示。

堆叠合并数据处理农产品基本信息数据除了concat函数之外，append()方法也可以用于纵向合并两张表。但是使用append()方法实现纵向表堆叠的前提条件是两张表的列名需要完全一致。append()方法的基本使用格式如下。pandas.DataFrame.append(other,ignore_index=False,verify_integrity=False,sort=False)append()方法实现纵向堆叠

堆叠合并数据处理农产品基本信息数据append()方法的常用参数及其说明如下。参数名称参数说明other接收DataFrame或Series。表示要添加的新数据。无默认值ignore_index接收bool。如果输入True，那么就会对新生成的DataFrame使用新的索引（自动产生），而忽略原来数据的索引。默认为Falseverify_integrity接收bool。如果输入True，那么当ignore_index为False时，会检查添加的数据索引是否冲突，若冲突，则会添加失败。默认为Falsesort接收bool。如果输入True，那么会对合并的两个表的列进行排序。默认为False

主键合并数据处理农产品基本信息数据针对两张包含不同特征的表，将根据某几个特征一一对应拼接起来，合并后数据的列数为两个原数据的列数和减去