Storm总结知识点.docxVIP

·Nimbus 集群管理 调度topology·Supervisor 启停worker·Worker 一个JVM进程资源分配的单位 启动executer·Executer 实际干活的线程·ZK 存储状态信息，调度信息，心跳1】.一个slot就是一个worker，一个worker里面就是一个JVM，一个worker里面有多个executer，一个executer上执行一个或者多个Task，一般来说默认就是一个task；-------------------------------------------------------------------------------------------------------2】.Spout可以调用nextTuple（）函数来去从外部取数据，可以从DPRC取数据，可以从MQ，比如从Kafka中取数据，然后给后面的Bolt处理；-------------------------------------------------------------------------------------------------------3】.Storm纯流式处理，处理数据单元是一个个Tuple,Storm计算模型—DAG计算模型，DAG是由Spout和Bolt组合起来的，它们都是节点，边就是stream数据流，数据流里面的数据单元就是Tuple，而grouping是做数据流里面的数据分发；spout和bolt都是在内存里面进行计算的，不会写入到磁盘中，所以运转效率非常高；-------------------------------------------------------------------------------------------------------4】.Storm中最重要的就是一个topology，topology就是对DAG模型的实现；Storm关键的组件，nimbus 、supervisor，worker，executor，另外storm还用到了外围的zk组件来存储协调数据；-------------------------------------------------------------------------------------------------------5】.可以把topology理解为一个Job，对于hadoop的job就会有map和reduce；对于Storm来说topology就会有spout和bolt;hadoop中的job是有生命周期的，最终会结束的，topology的生命周期是如果你不kill掉它，它会一直运行job；-------------------------------------------------------------------------------------------------------6】.每个Stream都有一个ID，如果没有指定写ID就用默认的流，叫做default，每个spout/bolt都有一个默认的Stream：default；spout/bolt可以有很多流;很多情况下我们写的storm程序就是一个default流；7】.spout是产生tuple的源头，一般从外部数据源如kafka取数据，生成tuple；spout的核心地方就是有一个nextTuple（）函数，每个线程不断调用这个回调函数，Spout主动去kafka取数据，然后再用emilt（）方法生成一个Tuple给后面的bolt进行处理；-------------------------------------------------------------------------------------------------------8】.实现bolt的逻辑是交给java来实现的，当然其它语言也可以；实现bolt中最核心的又是实现一个execute回调函数，里面的参数就是新来的tuple，bolt是数据驱动，当数据来了就去处理,然后后面再产生新的tuple；9】.Grouping其实就做一件事，它决定发给下游某个bolt中n个并发中的哪一个task，ShuffleGrouping随机乱发，fieldGrouping按照某个字段或某些字段做hash，allGrouping就是上游的数据发给下游，就是相当于发给下游的所有，相当于广播，CustomGrouping，自定义，相当于mapreduce自己去实现一个partition一样，你只需要相对说0,1,2哪个，它就会帮你去找真正集群里面是哪个；--------------------------------------------------------------