面向算法建模的数据清洗与特征工程规范.docxVIP

面向算法建模的数据清洗与特征工程规范

目录

一、数据基础处理规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1数据集完整性核验．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2数据类型标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

二、缺失值处理规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1缺失模式识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2分位数插补策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3缺失指示量编码．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

三、数据异常治理规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1极端值识别机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2离群点处理流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3异常值标识规则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．