大规模数据流实时处理架构研究.docxVIP

大规模数据流实时处理架构研究

目录

一、文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、大规模数据流实时处理相关理论基础．．．．．．．．．．．．．．．．．．．．．．2

2.1数据流定义与特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2实时处理原理分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3大规模数据流处理挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.4相关技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、大规模数据流实时处理架构设计．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1架构设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2架构总体框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.3数据采集子系统设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.4数据存储子系统设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.5数据处理子系统设计