Kafka剖析一:Kafka背景及架构介绍.docxVIP

  • 2
  • 0
  • 约1.09万字
  • 约 18页
  • 2021-02-06 发布于山东
  • 举报
Kafka 剖析(一): Kafka 背景及架构介绍 近年来,活动和运营数据处理已经成为了网站软件产品 特性中一个至关重要的组成部分,这就需要一套稍微更加复 杂的基础设施对其提供支持。 Kafka 简介 Kafka 是一种分布式的,基于发布 /订阅的消息系统。主要设 计目标如下: 以时间复杂度为 O(1) 的方式提供消息持久化能力,即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。高吞 吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。 支持 Kafka Server 间的消息分区, 及分布式消费,同时保证每个 Partition 内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 Scale out :支持在 线水平扩展。 为何使用消息系统 解耦 在项目启动之初来预测将来项目会碰到什么需求,是极其困 难的。消息系统在处理过程中间插入了一个隐含的、基于数 据的接口层,两边的处理过程都要实现这一接口。这允许你 独立的扩展或修改两边的处理过程,只要确保它们遵守同样 的接口约束。 冗余 有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息 队列所采用的 插入 -获取 -删除 范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出

文档评论(0)

1亿VIP精品文档

相关文档