05_流式计算基础_第2天(Storm目录树、任务提交、消息容错).docx

课程介绍 课程名称： Storm 技术增强 注：学习本课程，请先学习 Storm 基础 课程目标： 通过本模块的学习，能够掌握 Storm 底层的通信机制、消息容错机制、 storm 目录树及 任务提交流程。 课程大纲： 1 、 Storm 程序的并发机制 2 、 Storm 框架通信机制(worker 内部通信与外部通信) 3 、 Storm 组件本地目录树 4 、 Storm zookeeper 目录树 5 、 Storm 任务提交的过程 课程内容 1 、Storm 程序的并发机制 1.1、概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的 JVM 进程。一个 Topology 可以包含一个或多个 worker(并行的跑在不同的物理机上), 所以 worker process 就是执行一个 topology 的子集, 并且 worker 只能对应于一个 topology Executors (threads): 在一个 worker JVM 进程中运行着多个 Java 线程。一个 executor 线程可以执行一个或多个 tasks。但一般默认每个 executor 只执行一个 task。一个 worker 可以包含一个或多个 executor, 每个 component (spout 或 bolt)至