高效并发式Spark消息分发器的优化设计与实现.docxVIP

高效并发式Spark消息分发器的优化设计与实现

目录

一、项目背景及目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

项目背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

项目目标与需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、并发技术概述与Spark架构研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

三、Spark消息分发器设计原理与优化策略．．．．．．．．．．．．．．．．．．．．．．7

消息分发器设计基本原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

分发器优化策略制定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

高效并发算法选择与实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

四、分布式缓存技术研究与应用方案设计．．．．．．．．．．．．．．．．．．．．．．16

分布式缓存技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

缓存策略选择与优化方案设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

缓存技术在消息分发器中的应用实践．．．．．．．．．．．．．．．．．．．．．．．20

五、负载均