本文以Twitter Storm 官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。
3.1 Storm集群组件
Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:
1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。
2. 每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。
?
Storm集群组件
Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外,Nimbus和Supervisor进程都是快速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群中,要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Ni
您可能关注的文档
- MI设计欣赏_MI设计_MobileInterfaceDesign.doc
- MoinMoin维基语法大全.doc
- MTZR5型自控式阻容吸收器.doc
- N78新手快速入门.doc
- Paypal开发接口返回参数.doc
- Photoshop教程:传统风格端午节贺卡的制作.doc
- photoshop教程:打造可爱色彩透明的宝石.doc
- Photoshop调色教程:打造MM清秀靓丽肤色.doc
- Photoshop详解图层混合模式.doc
- photoshop制作背景水印讲解与相机拍摄教程.doc
- 浙江外国语学院大学英语2024-2025学年期末试卷A卷可打印复习备考.docx
- 浙江工商大学计算机基础2024-2025学年期末试卷A卷完整版可打印备考参考.docx
- 浙江树人学院计算机基础2024-2025学年期末试卷A卷完整版可打印备考参考.docx
- 浙江万里学院计算机基础2024-2025学年期末试卷A卷可打印真题期末复习.docx
- 浙江音乐学院C语言程序设计2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
- 浙江越秀外国语学院计算机基础2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
- 浙江建设职业技术学院C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江经贸职业技术学院C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江科技大学C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江理工大学科技与艺术学院C语言程序设计2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
原创力文档

文档评论(0)