Kafka分布式消息中间件实战指南.pdfVIP

Kafka最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、

多副本的(replica)，基于zookeeper协调的分布式消息系统，其最大特性就是可

以实时处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低

延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、日志、

消息服务等等，用scala语言编写，Linkedin于2010年贡献给Apache并

成为顶级开源项目。

Kafka的使用场景

日志收集：一个公司可以用Kafka收集各种服务的日志，通过Kafka以

统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr

等。

消息系统：解耦生产者和消费者、缓存消息等。

用户活动：Kafka常被用来记录Web用户或App用户的各种活动，

如浏览网页、搜索、点击等活动。这些活动信息由各服务器发布到Kafka的

topic中，订阅者通过订阅这些topic进行实时分析，或装载到

Hadoop、数据仓库中进行离线分析和挖掘。

运营指