大数据之路 Apache Pulsar 调研（全面）.docxVIP

大数据之路 | Apache Pulsar 调研（全面） 内容： Kafka : 优缺点。 Pulsar : 多租户，Topic Lookup，生产消费模式 Bookkeeper : 组件概念与读写流程 Horizontal Scale : Broker 或 Bookie 的横向扩展 Consistency : Broker 或 Bookie crash 后保证日志全都性 Distributed Log Raft 算法 总结 1. Kafka 概述 1.1 现存问题 次要问题： 负载均衡需人工介入：手动按异构配置的 broker 对应生成 assignment 执行方案。 毛病恢复不行控：broker 重启后需复制分区新数据并重建索引，其上的读写恳求转移到其他 broker，流量激增场景下可能会导致集群雪崩。 其他问题： 跨数据中心备份需维护额外组件：MirrorMaker 官方也承认鸡肋，做跨机房的冗余复制依靠第三方组件如 uber 的 uReplicator 注：已脱敏。 1.3 优点 生态成熟，易与 Flink 等现有组件集成。 可参考材料多，完善的官方文档和书籍。 模型简约易上手：partition 有 replication，以 segment 和 index 方式存储。 1.4 缺点 计算与存储耦合 存储节点无形态：读写只能走 Partition Leader，高负载