02异步与同步时时分析框架与源码和实例03笔记storm1-1.pptxVIP

Storm – 流式处理框架 Storm 简介 Storm 01 Storm 特征 02 Storm是个实时的、分布式以及具备高容错的计算系统 Storm进程常驻内存 Storm数据不经过磁盘，在内存中处理 Twitter开源的分布式实时大数据处理框架，最早开源于github 2013年，Storm进入Apache社区进行孵化 2014年9月，晋级成为了Apache顶级项目 官网 / 国内外各大网站使用，例如雅虎、阿里、百度 Storm 03 Storm 04 Storm 05 架构 Nimbus Supervisor Worker 编程模型 DAG （Topology） Spout Bolt 数据传输 ZMQ（twitter早期产品） ZeroMQ 开源的消息传递框架，并不是一个MessageQueue Netty Netty是基于NIO的网络框架，更加高效。（之所以Storm 0.9版本之后使用Netty，是因为ZMQ的license和Storm的license不兼容。） Storm 06 高可靠性 异常处理 消息可靠性保障机制(ACK) 可维护性 StormUI 图形化监控接口 Storm – 流式处理 07 流式处理（异步 与 同步） 客户端提交数据进行结算，并不会等待数据计算结果 逐条处理 例：ETL（数据清洗）extracted transform load 统计分析