storm on yarn 概念 架构 消息机制.pdf

STORM技术交流 收集整理BY SARIEL 目录 •什么是STORM •基础架构 •关键性概念 •项目结构 •消息不丢失机制 STORM背景 • 随着互联网的更进一步发展，信息浏览、搜索、关系交互传递型， 以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。 对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点 往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的 交叉关联，数据爆炸已不可避免。因此流式处理和NoSQL产品应 运而生，分别解决实时框架和数据大规模存储计算的问题。 • 流式处理可以用于3种不同场景： 事件流、持续计算以及分布式 RPC。 流处理与批处理 • STORM关注的是数据多次处理一次写入，而hadoop MapReduce 关注的是数据一次写入，多次查询使用。 Storm系统运行起来后是持续不断的，而hadoop MapReduce往往只是在业务需要时调用数据。 HADOOP MAPREDUCE STORM STORM的特点 • 可扩展 • 计算任务可在多个线程、进程和服务器之间并行进行,支持灵活的水平扩展 • 高可靠 • 保证每条消息都能被完全处理 • 高容错性 • nimbus、supervisor都是无状态的,可以用kill -9来杀死Nimbus和Supervisor进程,然后再重 启它们,任务照常进行.当worker失败后,supervisor会尝试在本机重启它 • 支持多种编程语言 • 除了用java实现spout和bolt,还可用其他语言 • 支持本地模式 • 可在本地模拟一个Storm集群功能、进行本地测试 • 高效 • 用ZeroMQ作为底层消息队列, 保证消息能快速被处理 协调公有数据的存放（如心 跳，集群状态，配置信息） Nimbus将分配给Supervisor STORM ON YARN 架构 的任务写在Zookeeper中。 C Z l o u o s t k e e r e Zookeeper p e r 控制节点， 用于提交分 配任务，集 S Worker