会员问题收集和解答课件.ppt

Storm企业项目实战 Kafka消费方式 在JMS实现中,Topic模型基于push方式,即broker将消息推送给consumer端. 不过在kafka中,采用了pull方式,即consumer在和broker建立连接之后,主动去pull(或者说fetch)消息;这种模式有些优点,首先consumer端可以根据自己的消费能力适时的去fetch消息并处理,且可以控制消息消费的进度(offset，每个应用或Topology需要维护自己的offset，不可多consumer共同维护同一offset);此外,消费者可以良好的控制消息消费的数量。 Kafka分区和副本 前边提过kafka的分区有主次之分，主分区负责数据读写。需要注意这里的主次是该分区和其副本之间的，而不是分区和分区之间的。 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有);备份的个数可以通过broker配置文件来设定.leader处理所有的read-write请求,follower需要和leader保持同步. Spout的acker追踪的id spout中emit的messageid用于失败时重试。 而acker追踪的是id是系统生成的64位随机数。 storm-kafka 插件使用选择？ 可以放心用，是线程安全的，现成的