基于样本筛选的数据处理方法.docxVIP

基于样本筛选的数据处理方法

目录

一、文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3研究目标与内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

二、样本筛选的理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1数据预处理概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1.1数据清洗．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.1.2数据集成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.1.3数据变换．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1.4数据规约．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.2样本筛选的原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.2.1无偏性原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.2.2高效性原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.2.3可解释性原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.3常用的样本筛选方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.3.1随机抽样方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.3.2分层抽样方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.3.3系统抽样方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.3.4整群抽样方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.3.5其他的抽样策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

三、基于不同特征的样本筛选策略．．．．．．．．．．．．．．．．．．．．．．．．．．．38

3.1基于数据质量特征的筛选．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.1.1缺失值处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

3.1.2异常值检测．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

3.1.3数据一致性校验．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.2基于数据分布特征的筛选．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3.2.1离散化处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.2.2数据分箱．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3.2.3分布调整．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.3基于数据相关性的筛选．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.3.1相关性分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

3.3.2临床属性关系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

3.3.3特征重要性排序．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

四、样本筛选算法的设计与实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

4.1算法设计思路．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

4.2算法伪代码描述．．．．．．．．．．．．．．．．．．．．．．．．