Storm-大数据BigData实时处理架构..docxVIP

Storm - 大数据Big Data实时处理架构什么是Storm？Storm是：? 快速且可扩展伸缩? 容错? 确保消息能够被处理? 易于设置和操作? 开源的分布式实时计算系统- 最初由Nathan Marz开发- 使用Java 和Clojure编写Storm和Hadoop主要区别是实时和批处理的区别：?Storm概念组成：Spout 和Bolt组成Topology。Tuple是Storm的数据模型，如[jdon,12346]多个Tuple组成事件流：Spout是读取需要分析处理的数据源，然后转为Tuples，这些数据源可以是Web日志、 API调用、数据库等等。Spout相当于事件流的生产者。Bolt 处理Tuples然后再创建新的Tuples流，Bolt相当于事件流的消费者。Bolt 作为真正业务处理者，主要实现大数据处理的核心功能，比如转换数据，应用相应过滤器，计算和聚合数据(比如统计总和等等) 。以Twitter的某个Tweet为案例，看看Storm如何处理：这些tweett贴内容是：“No Small Cell Lung #Cancer(没有小细胞肺癌＃癌症)” An #OnCology Consult....这些贴被Spout读取以后，产生Tuple，字段名是tweet，内容是No Small Cell Lung #Cancer，格式类似：[No Small Cell Lung #Cancer,133221]。然后进入被流消费者Bolt进行处理，第一个Bolt是SplitSentence，将tuple内容进行分离，结果成为：一个个单词：No Small Cell Lung #Cancer ；然后经过第二个Bolt进行过滤HashTagFilter处理，Hash标签是单词中用#标注的，也就是Cancer；再经过HasTagCount计数，可以本地内存缓存这个计数结果，最后通过PrinterBolt打印出标签单词统计结果。我们使用Stom所要做的就是编制Spout和Bolt代码：public class RandomSentenceSpout extends BaseRichSpout {　　SpoutOutputCollector collector;　　Random random;　　//读入外部数据　　public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {　　　　this.collector = collector;　　　　random = new Random();　　}　　//产生Tuple　　 public void nextTuple() {　　　　String[] sentences = new String[] {　　　　　　No Small Cell Lung #Cancer,　　　　　　An #OnCology Consultant apple a day keeps the doctor away,　　　　　　four score and seven years ago,　　　　　　snow white and the seven dwarfs,　　　　　　i am at two with nature　　　　};　　　　String tweet = sentences[random.nextInt(sentences.length)];　　　　//定义字段名tweet 的值?　　　　collector.emit(new Values(tweet));　　}　　// 定义字段名tweet　　public void declareOutputFields(OutputFieldsDeclarer declarer) {　　　　declarer.declare(new Fields(tweet));　　}　　@Override　　public void ack(Object msgId) {}　　@Override　　public void fail(Object msgId) {}}下面是Bolt的代码编写：public class SplitSentenceBolt extends BaseRichBolt {　　OutputCollector collector;　　@Override　　public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {　　　　this.collector = collector;　　}　　@Override 消费者激活主要方法：分离成