大数据处理技术：原理、应用与未来展望.docxVIP

大数据处理技术：原理、应用与未来展望

目录

一、概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1大数据时代特征剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2传统数据处理技术的局限性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3大数据处理技术兴起的动因．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

二、基础架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1分布式文件系统概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2流处理框架核心原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3云计算平台的角色与支撑．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

三、关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1分布式计算模式解读．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2海量数据存储结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.3关联分析与机器学