面向实时流数据的高吞吐采集与并行处理架构设计.docxVIP

面向实时流数据的高吞吐采集与并行处理架构设计

目录

一、概论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1项目背景与需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2相关技术与工具调研综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3本文工作目标界定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

二、核心技术选型说明．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.1数据接收环节预案选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.1.1分布式消息队列技术评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.1.2轻量级协议与高性能协议权衡．．．．．．．．．．．．．．．．．．．．．．．．．24

2.2并行计算架构策略确立．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.2.1动态任务路由模式解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.2.2无阻塞I/O模型适应性探讨．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

三、系统结构设计与实现．．．．．