并发式Spark消息分发器的设计与实现.docxVIP

并发式Spark消息分发器的设计与实现

目录

并发式Spark消息分发器的设计与实现（1）．．．．．．．．．．．．．．．．．．．．．3

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2目的与内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

相关工作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1分布式系统基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2Spark消息传递机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3现有消息分发器分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

设计思路．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2消息队列选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3并发控制策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

实现细节．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.1系统环境搭建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.2核心组件实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.2.1消息生产者．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.2.2消息消费者．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

4.2.3消息分发器．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.3性能优化措施．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

测试与评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

5.1测试环境搭建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

5.2功能测试．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

5.3性能测试．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

5.4结果分析与对比．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

总结与展望．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

6.1工作总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

6.2存在问题与改进方向．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

6.3未来工作展望．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

并发式Spark消息分发器的设计与实现（2）．．．．．．．．．．．．．．．．．．．．40

内容描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

1.1背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

1.2目的与内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

相关工作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

2.1Spark消息分发器概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

2.2现有技术分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

2.3研究目标与创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

设计思路．．．．．．．．．．．．．．．．．．．．．．．