培训课程Kafka分析.pptVIP

深入浅出hadoop 课程安排 Kafka产生背景 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并 不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离线应用（数据文件，日志）Kafka 就出现了。Kafka 可以起到两个作用： 降低系统组网复杂度 降低编程复杂度，各个子系统不在是相互协商接口，各个子系统类似插口插在插座上，Kafka 承担高速数据总线的作用。 kafka系列文章索引:/ielts0909/blog/117489 Kafka简介 同时为发布和订阅提供高吞吐量。据了解，Kafka 每秒可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）。 可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL，以及实时应用程序。通过将数据持久化到硬盘以及 replication 防止数据丢失。 分布式系统，易于向外扩展。所有的 producer、broker 和 consumer 都会有多个，均为分布式的。无需停机即可扩展机器。 消息被处理的状态是在 consumer 端维护，而不是由 server 端维护。当失败时能自动平衡。 支持 online 和 offline 的场景。 Kafka的简介 设计关注重点： 为生产者和消费者提供一个通用的API 消息的持久化 高吞吐量，可以满足百万级别消息处理 对分布式和高扩展性的支持 kafka最基本的架构是生产者发布一个消息到Kafka的一个主题（topic），这个主题即是由扮演KafkaServer角色的broker提供，消费者订阅这个主题，然后从中获取消息. Kafka是如何解决查找效率的的问题呢？ Kafka的两大法宝 数据文件的分段： Kafka解决查询效率的手段之一是将数据文件分段； 为数据文件建索引： 索引优化：稀疏存储，每隔一定字节的数据建立一条索引。 消息队列分类 点对点: 消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。 注意： 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。 发布/订阅: 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。 消息队列MQ对比 RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。 ZeroMQ：号称最快的消息队列系统，尤其针对大吞吐量的需求场景，擅长的高级/复杂的队列，但是技术也复杂，并且只提供非持久性的队列。 ActiveMQ：Apache下的一个子项，类似ZeroMQ，能够以代理人和点对点的技术实现队列。 Redis：是一个key-Value的NOSql数据库，但也支持MQ功能，数据量较小，性能优于RabbitMQ，数据超过10K就慢的无法忍受 Kafka部署架构 Kafka集群架构 Kafka的基本概念 Topic：特指 Kafka 处理的消息源（feeds of messages）的不同分类。 Partition：Topic 物理上的分组，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的 id（offset）。 Message：消息，是通信的基本单位，每个 producer 可以向一个 topic（主题）发布一些消息。 Producers：消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 producers。 Consumers：消息和数据消费者，订阅 topics 并处理其发布的消息的过程叫做 consumers。 Broker：缓存代理，Kafka 集群中的一台或多台服务器统称为 broker。 Kafka的Producers Producer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如