32道常见的Kafka面试题及答案.docxVIP

U Kafka都有哪些特点？ ?高乔吐量、低延迟：kiiFka每秒可以处理儿十万条消息，它的延迟最低只爭 儿毫秒，每个topic可以分多个partition, consumer group对partition进行 consume 操作。 ?可扩展性：kafkd集群支持热扩展 可鼎性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢?持久性、 可鼎性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢 ?容错性:?咼并发:允许集群中节点失败（若副本数量为m ?容错性: ?咼并发: 2、请简述下你在哪些场景下会选择Kafka? ?日志收集：一个公司可以用Kafka 11以收集各种服务的log,通过kMka以统 —接口服务的方式开放给各种consumer,例如hadoop、HBase Solr等。 ?消息系统：解耦和生产者和消费者、缓存消息等。 ?用户活动跟踪：Kafk“经常被用来记录web用户或者app用户的各种活动， 如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka 的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载 到hadoop、数据仓库中做离线分析和挖 ?运营指标：Kdfka也经常用来记录运营监控数据。包括收集各种分布式应用 的数据，生产各种操作的集中反馈，比如报警和报告。 ? 流式处理；比如spark streaming和Flink 3、 3、Kafka的设计架构你知道吗？ 简单架构如下 详细如下 Kafka^ I.... Kafka架构分为以下儿个部分 Producer :消息生产者，就是向kafka broker发消息的客户端。 Consumer :消息消费者，向kafka broker取消息的客户端。 Topic :可以理解为一个队列，一个Topic X分为一个或多个分区， Consumer Group：这是kafka用来实现一个topic消息的广播（发给所有的 consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多 个 Consumer Group。 Broker : 一台kiifka服务器就是一个broker。一个集群Hl多个broker组成。 一个broker可以容纳多个topic。 Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker _h? 每个partition是一个有序的队列。partition中的每条消息都会被分配一个有 丿芋的id （offset） o将消息发给consumer, kafka只保证按一个partition中的 消息的顺序，不保证一个topic的整体（多个partition间）的顺序。 Offset： kafka的存储文件都是按照offset.kafka来命名，用offset做名字的 好处是方便査找。例如你想找位于2049的位置，只要找到2048.kafka的文 件即可。当然 the first offset 就是 OOOOOOOOOOO.kafkao 4、Kafka分区的U的？ 分区对于Kafka集群的好处是：实现负载均衡。分区对于消费者来说, 可以提高并发度，提高效率。 5、你知道Kafka是如何做到消息的有序性？ kafka中的每个partition中的消息在写入时都是有序的，而且单独一 个Partition只能由一个消费者去消费，可以在里面保证消息的顺序性。但是 分区之间的消息是不保证有序的。 6、Kafka的高可鼎性是怎么实现的？ 数据可靠性 Kafka作为一个商业级消息中间件，消息可靠性的a要性可想而知。本 文从Producter往Broker发送消息、Topic分区副本以及Leader选举 儿个角度介绍数据的可靠性。 Topic分区副本 在Kafka 0.0之前，Kafka是没有副本的概念的，那时候人们只会用 Kafka存储一些不重要的数据，因为没有副本，数据很可能会丢失。但是随 着业务的发展，支持副本的功能越来越强烈，所以为了保证数据的可靠性， Kafka从080版本开始引入了分区副本（详悄请参见KAFKA-50）。也就 是说每个分区可以人为的配置儿个副本（比如创建主题的时候指 定replication-factor,也可以在Broker级别进行配 置 default.replication.factor）, 一般会设置为 3。 Kafka可以保证单个分区里的事件是有序的，分区可以在线（可用）， 也可以离线（不可用）O在众多的分区副本里面有一个副本是Leader,其余 的副本是follower,所有的读写操作都是经过Leader进行的，同时follower 会定期地去leader上的复制数据。当Leader挂了的时候，其中一个follower 会重新成为新