Apache Kafka：优化部署的 种最佳实践.docxVIP

Apache Kafka：优化部署的 10 种最佳实践 2021-11-22 本文要点 Kafka 低开销和友好水平扩展的设计使它可以使用廉价的日用硬件仍能保持成功运转。 使用最好的磁盘、分别存储日志、隔离 ZooKeeper 进程，以及禁用交换以削减延迟，从而为 ZooKeeper 供应强大的网络带宽。 将 Kafka 的默认复制因子从两个添加到三个，这适用于大多数生产环境。 更多的分区意味着更好的并行化和吞吐量，但分区也意味着更多的复制延迟、平衡，以及打开更多服务器文件。 监控系统网络吞吐量、打开文件句柄、内存、负载、磁盘使用情况等目标，以及像垃圾回收暂停和堆使用情况等 JVM 统计数据。 Apache Kafka?确定会像它的同名小说家一样不负众望，由于它能激奋新来者、挑战深度，若能更全面的理解它还会产生丰厚的报答。抛开文学，书归正传。遵照 kafka 最新的最佳实践，肯定可以让这个强大的数据流平台的管理变得格外、格外简约，而且还会相当有效。 这里有 10 个具体的技巧，可以挂念您优化 Kafka 部署并更简约管理： 设置日志配置参数以使日志易于管理 了解 kafka 的 (低) 硬件需求 充分利用 Apache ZooKeeper 以正确的方式设置复制和冗余 留意主题配置 使用并行处理 带着平安性思维配置和隔离 Kafka 通过提高限制避开停机 保持低网络延迟 利用有效的监控和警报 让我们具体分析一下这些最佳实践。 设置日志配置参数以使日志易于管理 Kafka 为用户供应了大量的日志配置选项，虽然默认设置是合理的，但定制日志行为以满足您的特定需求将确保它们不会成为长期的管理挑战。这包括设置日志保留策略、清理、压缩和压缩活动。 可以使用 Log.segment.bytes、log.segment.ms、log.cleanup.policy (或主题级等价参数) 来把握日志行为。假如在应用场景中您不需要以前的日志，那么您可以使用 Kafka 删除某个文件大小的日志文件，或者通过设置 cleanup.policy 在一段时间之后再“删除”。您还可以将其设置为“compact”，以便在需要时保留日志。留意，要了解运转日志清理睬消耗 CPU 和 RAM 资源；在将 Kafka 用于任何时间长度的操作日志时，肯定要平衡压缩的频率和维持功能的需要。 压缩是 Kafka 确保每个消息键 (在单个主题分区的数据日志中) 至少保留最终一个已知值的过程。压缩操作处理主题中的每个键，以保留其最终的值，清理全部其他反复项。在删除的情况下，该 键保存成“null”值 (它被称为“墓碑（tombstone）”，由于它能生动地表示已删除)。 图 1 Kafka 提交日志压缩过程 请参考 Kafka 操作日志文档： 日志 压缩基础学问 了解 kafka(低) 硬件需求 虽然很多不生疏 Kafka 的团队会高估它的硬件需求，但其实这个处理方案的设计初衷是低开销和友好地水平扩展。这使得使用廉价的商品硬件并仍可以保持成功运转 Kafka 成为可能： CPU：除非需要 SSL 和日志压缩，否则 Kafka 不需要强大的 CPU。而且，使用的内核越多，并行性越好。而且在大多数情况下，压缩也不会产生影响，应当使用 LZ4 编解码器来供应最佳功能。 RAM：在大多数情况下，Kafka 可以以 6 GB 的内存运转堆空间。对于特殊重的生产负载，使用 32 GB 以上的机器。额外的 RAM 将用于支持 OS 页面缓存和提高客户端吞吐量。虽然 Kafka 可以以更少的 RAM 运转，但当可用的内存较少时，它处理负载的力量就会遭到限制。 磁盘：假如在 RAID 设置中使用多个驱动器，就该 Kafka 大显身手了。由于 Kafka 的挨次磁盘 I/O 范式，所以 SSD 不会供应太多的优势，不应当使用 NAS。 网络和文件系统：建议使用 XFS，假如条件允许，还可以将集群放在单个数据中心。同时，应尽可能供应更多的网络带宽。 Apache Kafka 网站还包含一个特地的硬件和操作系统配置部分，供应了有价值的建议。 关于 Kafka 负载 / 功能测试的其他有价值的链接： Apache Kafka 的基准测试：每秒 200 万次写 (在 3 台廉价的机器上) 在 AWS 上的 Apache Kafka 负载测试 功能测试 充分利用 Apache ZooKeeper Apache ZooKeeper集群的运转是 Kafka 运转的关键依靠项。但是当你在 kafka 旁边使用 ZooKeeper 的时候，肯定要记住一些重要的最佳实践。 ZooKeeper 节点的数量最大应当是五个。一个节点适合于开发环境，三个节点对于大多数产品 Kafka 集群来说就足够了。虽然一个大