目录-4.2 数据集成与 ETL 流程 4.1 数据格式转换 4.3 数据融合与冲突解决-1761012993113.pptxVIP

目录项目实训多格式商品数据读取与格式转换4.2数据集成与ETL流程4.1数据格式转换4.3数据融合与冲突解决

学生能够了解常见的数据文件格式及其在实际应用中的特点与差异。掌握数据格式转换的常见方法与转换过程中可能出现的技术问题学生能够理解数据集成的基本概念，掌握ETL三阶段的核心任务。了解主流数据集成工具的作用与功能特点学习目标学生能够理解数据融合的基本类型和适用场景，掌握常见冲突的识别与分类方法。了解融合后数据一致性的重要性与常用评估手段

4.3数据融合与冲突解决

4014.3.1数据融合的类型：同源融合与异源融合什么是数据融合？数据融合是指将来自多个表、多个系统或多个来源的数据进行统一、关联、合并的处理过程，使其形成一个更完整、更有价值的数据集合。融合的价值？去除重复与冗余弥补字段缺失，丰富上下文信息提高数据分析与建模的准确性

5014.3.1数据融合的类型：同源融合与异源融合融合类型对比类型定义与说明应用示例同源融合数据来自同一系统或结构，但可能为不同时期、不同版本、不同批次多个Excel月度销售报表合并为年度汇总表异源融合数据来自不同系统或平台，结构、编码、字段含义可能不同网页采集商品信息+本地库存表、CRM系统+ERP系统

6014.3.2冲突检测与解决方式：值冲突、单位冲突、格式冲突融合时常见冲突类型冲突类型表现形式示例值冲突相同主键对应多个值同一用户ID，性别字段一个是“男”，另一个是“M”单位冲突同一字段使用了不同的度量单位价格字段单位“元”和“万元”混用格式冲突字段格式不统一日期格式与“2024/05/01”编码冲突文件编码不同导致乱码CSV编码为GBK，系统读取为UTF-8

7014.3.2冲突检测与解决方式：值冲突、单位冲突、格式冲突解决冲突的常用策略冲突类型解决方式示例冲突类型值冲突建立映射表统一值（如F→女，M→男）值冲突单位冲突引入换算规则统一单位（如df[‘price’]*=10000）单位冲突格式冲突使用pd.to_datetime()、str.zfill()等方法标准化格式冲突编码冲突在读取时统一指定编码，如pd.read_csv(...,encoding=utf-8)编码冲突

8014.3.3融合后数据质量评估与一致性验证方法为什么要验证融合后数据？融合过程易产生结构错位、字段覆盖或关联错误，必须通过质量检查确保：字段含义正确值没有被错误覆盖或截断主键唯一性、一致性符合预期常用质量评估指标与验证方法验证内容工具/方法示例主键一致性df.duplicated(subset=id)检查重复主键值分布检查df[gender].value_counts()确保只存在“男/女”两种值缺失值检查df.isnull().sum()检查合并后是否因字段不匹配产生新缺失描述性统计df.describe()检查数值是否异常或大范围偏移分类标准化df[status]=df[status].map({...})统一枚举值

901【实操案例】同一产品信息的异源融合与冲突处理流程案例目标从网页采集产品名称与分类从本地CSV文件读取价格与库存合并两个数据源统一字段、处理单位、检查数据一致性数据准备本地数据：products_local.csvproduct_name,price,price_unit,stock手机,2,万元,50耳机,300,元,120

1001【实操案例】同一产品信息的异源融合与冲突处理流程Python脚本：task_data_fusion.pyimportpandasaspdimportrequestsfrombs4importBeautifulSoupfromsklearn.preprocessingimportStandardScaler#第一步：网页采集产品名称+类别（异源1）url=/catalogue/1.htmlres=requests.get(url)soup=BeautifulSoup(res.text,html.parser)products_web=[]forbookinsoup.select(.product_pod)[:2]:#仅取前两个作为示例title=book.h3.a[title]category=book.select_one(p).get(class)[0]products_web.append({product_name:title,category:category})df_web=pd.DataFrame(products_web)#第二步：读取本地CSV（