Python数据分析部署和应用.pdfVIP

09 数据分析部署与应用 Python数据处理,分析,可视化与数据化运营 本章学习目地 了解数据分析常见地部署与落地应用方式 掌握使用程序化地方式自动化执行脚本地技 熟练应用Email地方式自动化发送数据到指定收件人 了解简单地HTML代码以及效果 了解程序调度地设置方式与技巧 9.1 批量合并数据文件 3 应用背景 企业中,经常面临从多个数据源中批量以及周期性导出数据文件地情况。 数据数据分析师经常需要批量合并数据文件。 9.1 批量合并数据文件 4 应用背景 批量合并数据文件,要求被合并地数据具有可以合并或匹配地关系,一般分为3种: （1）所有数据文件地字段相同,此时可将数据按行组合到一起即可。 （2）所有数据文件中地存在匹配关系,可将不同数据文件按主键 匹配,从而 得到完整地字段与数据。 （3）上述两种场景地交叉,即既需要按主键 匹配多个数据文件,同时又得将 多个匹配后地结果合并起来。 9.1 批量合并数据文件 5 工作需求 以附件sales_data.zip与traffic_data.zip中地数据为例 从两个系统分 获得了各 自按 日地商品流量数据与销售数据,现需要将两份数据匹 配并合并起来,最后输出为单张表 9.1 批量合并数据文件 6 实现过程 导入库 import os,zipfile import pandas as pd zipfile用来解析zip格式地压缩包中地文件 9.1 批量合并数据文件 7 实现过程 解压压缩包 zip_files = [sales_data.zip,traffic_data.zip] # ① for file in zip_files: # ② fz = zipfile.ZipFile(file) # ③ fz.extractall() # ④ 解压数据后,我们查看下数据格式。在当前程序 目录下新增了两个与压缩包同名 数据目录sales_data与traffic_data,其数据分别是按天地商品销售数据与流量数据。 9.1 批量合并数据文件 8 实现过程 解压压缩包 文件列表展示 9.1 批量合并数据文件 9 实现过程 解压压缩包 数据展示 9.1 批量合并数据文件 10 实现过程 获取文件数据 def read_data(file_name): # ① data = pd.read_csv(file_name) # ② data[ 日期]=os.path.splitext(file_name)[0][-8:] # ③将文件名中地日期字符串取出,用于构建每个文件地 日期字段 return data # ④ 构建了一个读取单个文件数据地函数 9.1 批量合并数据文件 11 实现过程 读取两个文件夹所有地文件 two_data_path = [traffic