面向动态负载的Storm任务自适应部署与智能配置平台研究.docx

面向动态负载的Storm任务自适应部署与智能配置平台研究

一、引言

1.1研究背景与动机

在当今数字化时代，数据呈爆发式增长，大数据实时处理的需求日益迫切。众多场景，如微博热门话题的实时追踪、电商平台的实时购物推荐以及路由器数据报的实时统计等，都对海量“运动”中的数据连续实时处理能力提出了挑战。传统的数据处理模式已无法满足这些实时性和高吞吐量的要求，在此背景下，流计算框架应运而生。

Storm作为Twitter公司开源的针对流数据实时处理的计算框架，是工业界技术最成熟的流计算框架之一。它具有分布式、实时性、高容错等特性，能够在保证高可靠性的前提下，对大批量数据进行实时处理。Sto