机器学习训练数据的自动化清洗与结构优化策略.docxVIP

机器学习训练数据的自动化清洗与结构优化策略

目录

一、概论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、机器学习数据预处理基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1数据预处理的目标与流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2缺失值认别与填补．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3异常值检测与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.4数据分布分析与变换．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.5数据标准化与归一化处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

三、自动化数据清洗工具与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1自动化预处理平台介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2开源库与框架应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.3集成化数据管道设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.4自动化规则