Storm应用系列之(集成Kafka).docx

Kafka集群中的Broker地址,有哪两种方法指定?TransactionalTridentKafkaSpout的作用是什么？本地模式无法保存Offset该如何解决？前言Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍。Kafka的基本介绍：什么是Kafka准备工作KafkaSpout其实网上已经有人写了，在github上开源了，不用我们自己造轮子。只是要注意版本问题：0.7版本的Kafka，对应KafkaSpout可以使用Storm-contrib下面的例子源码：/nathanmarz/storm-contrib/tree/master/storm-kafka/nathanmarz/st ... /master/storm-kafkaMaven依赖：/storm/storm-kafka0.8版本的Kafka在API上和底层Offset的处理方式上发生了重大变化，所以老的KafkaSpout不再适用，必须使用新的KafkaAPI/cpro/ui/uijs.php?c=newscf=1001ch=0di=128fv=17jk=7121eaf2c145acedk=%D4%B4%C2%EBk0=%D4%B4%C2%EBkdi0=0luki=1n=10p=baiduqcprrb=0rs=1seller_id=1sid=edac45c1f2ea2171ssp2=1stid=0t=tpclicked3_hctu=u1946583u=http%3A%2F%2Fwww%2Eaboutyun%2Ecom%2Fforum%2Ephp%3Fmod%3Dviewthread%26tid%3D8959%26highlight%3Dstorm%252B%252Bkafkaurlid=0源码：/wurstmeister/storm-kafka-0.8-plus/wurstmeister/storm-kafka-0.8-plus这里因为0.8版本的Kafka必然是将来主流，所以我就不介绍0.7 的了，使用方式基本上是类似的。PS:是人写的，就会有bug，何况是别人分享出来的。所以，遇到bug，还请去github上提交一个issue告诉作者修正。2014/7/29 更新：wurstmeister/storm-kafka-0.8-plus 现在合并到Apache Storm了，在其external/storm-kakfa目录Maven依赖直接更新成：?dependency??groupIdorg.apache.storm/groupId??artifactIdstorm-kafka/artifactId??version0.9.2-incubating/version?/dependency?复制代码但是storm似乎没有直接把external的包加载到classpath，所以使用时，还得手动把该jar包从external/storm-kafka/下拷到storm的lib目录。当然，也可以在maven中加上scopecompile/scope，直接把该jar打到你项目一起。使用KafkaSpout一个KafkaSpout只能去处理一个topic的内容，所以，它要求初始化时提供如下与topic相关信息：Kafka集群中的Broker地址 （IP+Port）有两种方法指定：1. 使用静态地址，即直接给定Kafka集群中所有Broker信息GlobalPartitionInformation info = new GlobalPartitionInformation();??info.addPartition(0, new Broker(4,9092));??info./cpro/ui/uijs.php?c=newscf=1001ch=0di=128fv=17jk=7121eaf2c145acedk=addk0=addkdi0=0luki=5n=10p=baiduqcprrb=0rs=1seller_id=1sid=edac45c1f2ea2171ssp2=1stid=0t=tpclicked3_hctu=u1946583u=http%3A%2F%2Fwww%2Eaboutyun%2Ecom%2Fforum%2Ephp%3Fmod%3Dviewthread%26tid%3D8959%26highlight%3Dstorm%252B%252Bkafkaurlid=0addPartition(0, new Broker(1,9092));??BrokerHosts brokerHosts = new Stati