大数据时代下的数据整合策略与方法.docxVIP

大数据时代下的数据整合策略与方法

目录

一、内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、大数据时代的数据特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1数据量巨大．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2数据类型多样．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3数据价值密度低．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、数据整合的必要性与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1数据整合的必要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2数据整合面临的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

四、数据整合策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

4.1数据源规划与选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1.1数据源识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.1.2数据源评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1.3数据源选择策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.2数据清洗与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.2.1数据清洗原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.2.2数据预处理流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.3数据融合与共享．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

4.3.1数据融合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.3.2数据共享机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

五、数据整合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

5.1数据仓库建设．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

5.1.1数据仓库架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

5.1.2数据仓库实施步骤．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

5.2数据湖与大数据平台．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

5.2.1数据湖概念与特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

5.2.2大数据平台选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

5.3数据API与数据服务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

5.3.1数据API设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

5.3.2数据服务优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

六、数据整合工具与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

6.1数据整合工具概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

6.2常用数据整合工具介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

6.3技术发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

七、数据整合实施与管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

7.1实施步骤与流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5