Apache Kafka . 发布，离彻底去掉 ZooKeeper 更进一步.docxVIP

Apache Kafka 3.0 发布，离彻底去掉 ZooKeeper 更进一步 2021-10-04 更多内容关注：fullstack888 Apache Kafka 3.0.0 正式发布，这是一个重要的版本更新，这次发布为 Kafka 彻底去掉ZooKeeper铺平了道路。 ? 因而，在此背景下该版本中最突出的改进是 Kafka 的共识机制 KRaft 也就不足为奇了，该机制仍处于预览阶段。将来，KRaft 将作为 Apache Kafka 的内置共识机制将取代 Apache ZooKeeper，该版本目前供应了 KRaft 把握器和代理来为“名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照”，也就是说这是 Kafka 集群存储、复制元数据的地方。 ? 为了顺当切换到 KRaft，Kafka 团队重新设计了该工具的元数据记录类型，并让 Kafka Controller 担任在 ZooKeeper 和 KRaft 模式下生成生产者 ID。同时，从 3.0 开头，Kafka 生产者默认开启幂等性和全部副本的交付确认。 ? 除此之外，Kafka 团队还尝试调整了当前的用例，这些用例以前很难实现。例如，监控任务通常会产生一些开销，由于无法为多个消费者组猎取偏移量。这在 3.0 版的 OffsetFetch API 中得到了订正。同时对 AdminClient.listOffsets 的改进将挂念用户测试分区的活跃度；它现在供应了查询选项，以前往分区中时间戳和具有最大时间戳的记录的偏移量。 ? Kafka Streams 的 TaskMetadata 接口供应了三种新方法来检查 commitedOffsets、endOffsets 和 timeCurrentIdlingStarted，这也有助于跟踪系统的健康情况。值得留意的添加功能还可以在数据集成中心 Kafka Connect 中找到，在 3.0 中，KIP-745 使用户能够通过一次调用重新启动全部或仅失败的连接器 Connector 和 Task 实例。 ? 由于这是一个次要版本，还有一些更改可能会导致旧代码无法正常工作。其中包括弃用 Streams 中宽限期的 24 小时默认值，并用明确的新方法替换它们，这些方法要求用户要么将所述时间段设置为零，要么接受宽限期持续时间的自定义值。? ? Kafka 团队也开头了一些清理工作，因而用户应当为即将到来的“警告”做好预备。3.0 版本中弃用对 Java 8 和 Scala 2.12 的支持，并且将在 v4.0 中完全删除。除此之外，维护者还打算弃用消息格式 v0 和 v1，将消息格式 v2 作为默认消息格式。之后只能通过转换实现 v0 和 v1 的数据向后兼容性，但这会影响功能，因而建议大家进行升级。 总结： 已弃用对 Java 8 和 Scala 2.12 的支持，对它们的支持将在 4.0 版本中彻底移除，以让开发者有时间进行调整 Kafka Raft 支持元数据主题的快照，以及 self-managed quorum 方面的其他改进 废弃了消息格式 v0 和 v1 默认情况下为 Kafka Producer 启用更强的交付保证 优化了 OffsetFetch 和 FindCoordinator 恳求 更机警的 MirrorMaker 2 配置和 MirrorMaker 1 的弃用。 能够在 Kafka Connect 的一次调用中重新启动连接器的任务 连接器日志上下文和连接器客户端掩盖现在是默认启用的 添加了 Kafka Streams 中时间戳同步的语义 修改了 Stream 的 TaskId 的公共 API 在 Kafka Streams 中，默认的 serde 变成了 null，还有一些其他的配置变化 更多详情可查看：/kafka - END - 推举阅读： Flink 在伴鱼的实践：如何保障数据的精确?????性 快手公司厕所装坑位计时器，网友：再也不能带薪拉屎了！ Redis为什么变慢了？常见延迟问题定位与分析 Redis 16 种妙用，Redis用的好，加薪少不了 最新常用数据库排名及分类引见 微服务-API网关-身份验证 Uber 如何为近实时特性构建可伸缩流管道？ 关注:fullstack888 学习架构学问