分布式实时(流)计算框架.pptxVIP

分布式实时（流）计算框架系统部（SE）--贺先智2014-01-15数据分析系统整体架构引入实时计算的背景 Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明-----延迟大，响应缓慢，运维复杂。hadoop主要的使用场景在于离线系统，现实生活中，一些场景是不允许那么长时间的延迟时间，都需要实时数据展示的，显而易见，hadoop是无法满足这种场景下的要求的。 Storm是实时计算（流）计算的典型代表，2011年，Twitter开源了Storm，为上述问题提供了良好的解决方案。 Storm关注的是数据多次处理一次写入，而hadoop关注的是数据一次写入，多次处理使用（查询）。Storm系统运行起来后是持续不断的，而hadoop往往只是在业务需要时调用数据。 两者关注及应用的方向不一样。Storm架构及组件Topology：storm中运行的一个实时应用程序.Nimbus：负责资源分配和任务调度.Supervisor：负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程.Worker：运行具体处理组件逻辑的进程.Task：worker中每一个spout/bolt的线程称为一个task.Spout：在一个topology中产生源数据流的组件.Bolt：在一个topology中接受数据然后执行处理的组件.