Storm源码走读笔记技巧.docx

 PAGE 59 Storm源码走读笔记 徽沪一郎  HYPERLINK mailto:hsxupeng@ hsxupeng@ May 28, 2014  目录1楔子4I启动场景分析42nimbus启动场景分析42.1 程序入口 . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 配置文件读取 . . . . . . . . . . . . . . . . . . . . . . 5 2.2.1 配置文件的内容 . . . . . . . . . . . . . . . . . 7 2.3 thrift . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.4 zookeeper . . . . . . . . . . . . . . . . . . . . . . . 10 3 supervisor启动场景分析 11 3.1 程序入口 . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2 zookeeper . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.1 event-manager . . . . . . . . . . . . . . . . . . 12 3.3 sync-processes . . . . . . . . . . . . . . . . . . . . . 12 II Topology 12 4 Topology提交过程 12 4.1 StormBuilder . . . . . . . . . . . . . . . . . . . . . . 13 4.1.1 setSpout . . . . . . . . . . . . . . . . . . . . 13 4.1.2 setBolt . . . . . . . . . . . . . . . . . . . . . 13 4.1.3 createTopology . . . . . . . . . . . . . . . . . 13 4.2 storm client . . . . . . . . . . . . . . . . . . . . . . 13 4.3 nimbus . . . . . . . . . . . . . . . . . . . . . . . . . 16 4.3.1 submitTopologyWithOpts . . . . . . . . . . . . . 16 4.3.2 normalize-topology . . . . . . . . . . . . . . . 17 4.3.3 mk-assignments . . . . . . . . . . . . . . . . . 17 4.3.4 Topology Monitoring . . . . . . . . . . . . . . . 19 4.4 supervisor . . . . . . . . . . . . . . . . . . . . . . . 19 4.5 worker . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.6 executor . . . . . . . . . . . . . . . . . . . . . . . . 20 4.6.1 spout . . . . . . . . . . . . . . . . . . . . . . 21 4.6.2 bolt . . . . . . . . . . . . . . . . . . . . . . 24 5 worker进程中线程的种类及用途 27 5.1 接收和发送线程 . . . . . . . . . . . . . . . . . . . . . 27 5.2 zk client . . . . . . . . . . . . . . . . . . . . . . . 27 5.3 定时器线程 . . . . . . . . . . . . . . . . . . . . . . . 27  5.4 SystemBolt . . . . . . . . . . . . . . . . . . . . . . . 28 5.5 Metrics Bolt . . . .