大数据技术在财务中的应用5.4 数据合并.pptxVIP

5.4数据合并大数据技术在财务中的应用

Pandas在合并数据集时，常见的操作包括纵向合并数据和横向连接数据等，这些操作各有各的特点。数据合并1.纵向合并数据的纵向合并指将两张或多张表纵向拼接起来，使得原先两张或多张表的数据整合到一张表上。假设现在有两个科目余额表分别为df1和df2，它们进行纵向合并的效果如下图所示。需要注意的是，参与纵向合并的表，它们的字段名与含义要完全相同。否则，若连接的表的列名或列个数不一致时，不一致的位置会产生缺失值。纵向合并示例

数据合并concat()函数可以将数据根据不同的轴做简单的数据合并，该函数的语法格式如下：参数说明实例objs要合并的数据[df1,df2]表示要合并df1与df2的数据axis连接的方向默认为0，纵向合并；如果为1，则是横向合并。join连接的方式在axis=1时可用，join=inner表示内连接，join=outer表示外连接（默认）。ignore_index合并时是否忽略现有索引默认为False，如果设置为True，则表示清除现有索引并重置索引值。df.concat(objs,axis=0,join=outer,ignore_index=False)?contact函数的参数函数中的参数说明如表7-13所示。

以科目余额表为例，通过contact()函数来纵向合并数据，参考代码如下。数据合并

以科目余额表为例，通过contact()函数来纵向合并数据，参考代码如下。数据合并concat()函数还可以实现按照行索引进行横向连接，通过参数“axis=”来控制，当参数axis=1时表示进行横向连接。

pandas.merge(left,right,how=inner,on=None,left_on=None,right_on=None)数据合并2.横向连接Pandas提供了merge函数以完成各种表的横向连接操作，这种连接操作与SQL语句的连接操作是类似的，包括内连接、外连接。此外，pandas也提供了按照行索引进行横向连接的方法。merge()函数的语法格式如下：函数中的参数说明如后表所示。

数据合并2.横向连接merge函数的参数当参与内连接的两个表没有相同的列名时，可以使用left_on和right_on参数设置连接的字段。

数据合并2.横向连接（1）内连接内连接（innerjoin）是指根据一个或多个列将两个DataFrame对象连接起来，查询结果只包括两张表中匹配的观测，用法简单，但是在数据分析中需谨慎使用，否则容易造成样本的缺失。假设现在有两个科目余额表分别为df1和df2，以“科目代码”为连接的列名进行内连接，内连接的结果如右图。内连接示例

数据合并2.横向连接（1）内连接以科目余额表为例，通过merge()函数实现内连接以横向合并数据，参考代码如右侧。

数据合并2.横向连接（1）内连接续上图

数据合并2.横向连接（2）外连接通过观测内连接的结果可以看到，左表连接列的值都可以在右表对应的连接列中找到，右表连接列的值也可以在左表中对应的连接列中找到，但是现实业务中很多都是互相找不到的，这个时候该怎么办？这就衍生出了用来处理找不到的情况的几种连接方式，用参数how来指明具体的连接方式，除了内连接（inner），还有左连接（left）、右连接（right）、全连接（full）这三种外连接方式，效果如下图所示。外连接示意图

数据合并2.横向连接（2）外连接左连接通过连接列，保留左表的全部信息，右表在左表缺失的信息会以NaN补全。以图中的df1和df2为例，它们以“科目代码”为连接的列名进行左连接，左连接的结果如右图所示。左连接左连接示例

数据合并2.横向连接（2）外连接以科目余额表为例，通过merge()函数来实现左连接。左连接的具体操作是通过merge函数的参数“how=left”实现的，参考代码如下。

数据合并2.横向连接（2）外连接右连接和左连接相对，右连接通过连接列，保留右表的全部信息，左表在右表缺失的信息会以NaN补全。以图中的df1和df2为例，它们以“科目代码”为连接的列名进行右连接，右连接的结果如右图所示。右连接右连接示例

数据合并2.横向连接（2）外连接以科目余额表为例，使用merge()函数来实现右连接。右连接的具体操作是通过merge函数的参数“how=‘right’”实现的，参考代码右侧所示。

数据合并2.横向连接（2）外连接全连接通过连接列，保留两表的全部信息，两表互相缺失的信息会以NaN补全。以图中的df1和df2为例，它们以“科目代码”为连接的列名进行全连接，全连接的结果如右图所示。全连接全连接