Kafka简介及其在分布式系统中应用与优势.pdfVIP

零声教育Mark老师

kafka简介

ApacheKafkaisanopen-sourcedistributedeventstreamingtformusedbythousandsof

companiesforhigh-performancedatapipelines,streaminganalytics,dataintegration,and

mission-criticalapplications.

kafka是一个开源的、高性能、高吞吐量的分布式流平台。又称为分布式消息队列中间件；

消息队列

消息队列特征：顺序排列，按照先进先出方式进行消费；

通常在一个进程当中使用消息队列用来实现多线程环境下资源竞争的问题，通常这种临界资源太

大，从而造成锁的粒度大，为了减小锁的粒度，将问题抽成一个一个的任务，而任务由消息来进行

驱动；此时锁的粒度变为一个消息；

消息队列中间组件

消息队列作为中间组件的时候，通常应用在分布式系统中；在分布式系统中，需要保证消息的持久

化；同时还需要解决幂等性问题，所谓幂等性问题，网络抖动时，发送多次同样的数据，消息队列

应该能进行过滤去重；并且也需要考虑乱序问题，能让consumer能顺序消费消息；