WordCountTopology的实现.doc

WordCountTopology的实现 1. 编写SentenceSpout package com.ibeifeng.bigdata.storm.topo; import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IRichSpout; import backtype.storm.topology.OutputFieldsDeclarer; import backtype.storm.topology.base.BaseRichSpout; import backtype.storm.tuple.Fields; import backtype.storm.tuple.Values; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.Map; import java.util.Random; /** * Spout开发 * Created by ad on 2016/12/11. */ //public class SentenceSpout implements IRichSpout{ public class SentenceSpout extends BaseRichSpout{ private static final Logger logger = LoggerFactory.getLogger(SentenceSpout.class); /** * tuple发射器 */ private SpoutOutputCollector collector; private static final String[] SENTENCES = { hadoop yarn mapreduce spark, flume hadoop hive spark, oozie yarn spark storm, storm yarn mapreduce error, error flume storm spark }; /** * 用来声明该组件向后面组件发射的tuple的key名称依次是什么 * @param declarer */ @Override public void declareOutputFields(OutputFieldsDeclarer declarer) { declarer.declare(new Fields(sentence)); } /** * 用于指定只针对本组件的一些特殊配置 * @return */ @Override public MapString, Object getComponentConfiguration() { return null; } /** * Spout 组件的初始化方法 * 创建SentenceSpout组件的实例对象时调用，只执行一次 * @param conf * @param context * @param collector */ @Override public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) { // 用实例变量来接收tuple发射器 this.collector = collector; } /** * close方法在该spout关闭前执行，但是并不能得到保证其一定被执行。 * spout是作为task运行在worker内，在cluster模式下， * supervisor会直接kill -9 woker的进程，这样它就无法执行了。 * 而在本地模式下，只要不是kill -9, 如果是发送停止命令， * 是可以保证close的执行的。 */ @Override public void close() {