大数据采集技术与应用课件：采集大数据技术Kafka.pptx

;;任务引入;;教学内容;Kafka基本概念;Kafka是Linkedin公司开发一款分布式的，基于发布-订阅者模式的分布式日志系统。

虽然kafka是一个分布式日志系统，但同时Kafka也可以作为消息队列系统。

因此，Kafka主要应用在日志收集系统和消息系统。;Kafka的主要目标为：

以时间复杂度O(1)提供消息持久化，能够以常数级时间复杂度访问TB以上级数据。

具有较高的数据吞吐率，特别是能够在较为廉价的机器上实现较高的数据吞吐率。

支持实时数据处理和离线数据处理。;消息系统用于在应用程序之间传递数据，应用程序只关心如何发送数据，如何接收数据，并不关心数据是如何传送的。

实际上数据的传