分布式实时计算系统Storm.pptx

目录/17Storm简介Storm主要构成Storm简单应用—统计单词出现频率Storm简介产生背景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。实时计算实时计算一般针对海量数据进行，要求是秒级。主要应用场景有两种：数据源是实时、不间断的，要求对用户的响应时间也是实时的。主要用于互联网流式数据处理。数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。主要用于特定场合下的数据分析处理。/17Storm简介Storm概念Storm是由Twitter开源的、分布式的、容错的实时计算系统，使用Clojure语言实现，可以使开发者可靠地处理无界持续的流数据，进行实时计算。Storm主要适用场景信息流处理可用来实时处理源源不断流进来的数据，处理后将结果写入存储中。如互联网的数据实时监控、微博热门话题发送到浏览器中等分布式RPC由于Storm的处理组件是分布式的，而且处理延迟极低，所以可作为一个通用的分布式rpc框架来使用。当然，其实我们的搜索引擎本身也是一个分布式rpc系统。/17Storm简介Storm主要特点编程模型简单。Storm降低了进行实时处理的复杂度可扩展。计算是在多个线程、进程和服务器之间并行进行的高可靠性。可保证每个消息至少能得到一次完整处理高容错性。Storm会管理工作进程和节点的故