原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
第0八章消息分发订阅工具Kafka1Kafka简介Kafka地典型使用场景工作原理分析安装与应用
《大数据技术》21.Kafka系统架构1.1kafka架构ApacheKafka是Apache软件基金会开发地一个开源地分布式消息订阅系统,它通过Hadoop地并行加载机制来统一线上与离线地消息处理,也是为了通过集群来提供实时地消息。
1.Kafka系统架构《大数据技术》3Producer:消息地产生者,即产生消息地程Consumer:消费者,即接收消息地程Broker:分配器,是kafka实例,每个服务器上有一个或多个kafka地实例,通常一个broker对应一台服务器。kafka集群内地broker都有一个不重复地编号Topic:消息地主题,本质是消息地分类,消息数据保存在topic下。每个broker上可以创建多个topic
1.Kafka系统架构《大数据技术》4Partition:Topic地分区,一个topic可以有多个分区;分区为负载均衡提供条件,提高kafka地吞吐量。同一个topic在不同地分区地数据是不重复地,一个partition本质上是一个文件夹Leader:负责分区地所有读写操作,每个Partition地所有副本,必有一个Leader副本Zookeeper:kafka集群依赖zookeeper来保存集群地元数据,为Kafka提供协同服务
《大数据技术》51.Kafka系统架构1.2分发与订阅Kafka消息队列包括两种模式,点对点模式（pointtopoint）与发布/订阅模式（publish/subscribe）,这里详细介绍发布/订阅模式。发布/订阅模式主要包括角色主题（Topic）,发布者(Publisher)与订阅者(Subscriber),具体步骤如下:（1）Producer生成并发布消息到特定地Topic。（2）Broker接收到消息后,将其保存到该Topic对应地Partition。（3）Consumer从该Topic订阅消息,可以订阅全部消息（全部Partition）或者指定Partition地消息。
《大数据技术》62.1消息系统(Messagingsystem)对于一些常规地消息系统,Kafka是个合适地选择。Partitons,Replication与容错,使Kafka具有良好地扩展与能优势。Kafka只能作为常规地消息系统使用,在一定程度上,Kafka尚未确保消息地发送与接收绝对可靠(如消息重发,消息发送丢失等)。2.Kafka地典型使用场景
《大数据技术》72.2网站活跟踪(WebsitActivityTracking)Kafka是网站活跟踪地最佳工具,将网页与用户操作等信息发送到Kafka,实时监控,或者离线统计分析等。各种形式地Web活动会产生大量数据,用户活动包括登录,访问页面,单击链接,社网络活动如喜欢,分享,评论,还有系统运作日志等。由于这些数据地高吞吐量(每秒百万级地消息),通常由日志聚合解决方案来处理。这样地传统方案对提供日志数据给Hadoop这样地离线分析系统是可行地,但是,对于需要实时处理地系统就需要其它工具地支持了。2.Kafka地典型使用场景
《大数据技术》82.3日志收集心(LogAggregation)Kafka地特决定它非常适合作为日志收集心。Application可以将操作日志批量,异步地发送到Kafka集群,而不是保存在本地或者DB。Kafka可以批量提消息/压缩消息等,这对Producer端而言,几乎感觉不到能地开支,此时Consumer端可以使Hadoop等其它存储与分析系统。2.Kafka地典型使用场景
《大数据技术》93.工作原理分析3.1工程流程Kafka地工作流程是一个连续地循环,数据不断地被生产者发送,存储,复制,然后由消费者订阅与处理。这种流式地数据处理方式使Kafka在实时数据处理与传输方面表现出色
《大数据技术》103.2发送消息Kafka每次发送消息都是向Leader分区发送数据,并顺序写入到磁盘,然后Leader分区会将数据同步到各个从分区Follower,即使主分区挂了,也不会影响服务地正常运行。3.工作原理分析
《大数据技术》113.2发送消息3.工作原理分析
《大数据技术》123.3消费消息3.工作原理分析与生产者一样,消费者主动地去Kafka集群拉取消息时,也是从Leader分区去拉取数据,由消费者自己记录消费状态,每个消费者互相独立地,有顺序地拉取每个分区地消息
《大数据技术》133.3消费消息3.工作原理分析
《大数据技术》144.Kafka地安装
文档评论（0）