说明kafka初认识课件.pptx

Kafka初认识

kafka初认识—课程概要kafka使用背景kafka相关概念zookeeper集群搭建kafka集群搭建

Kafka初认识Kafka使用背景

Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样一些问题：我想分析一下用户行为（pageviews），以便我能设计出更好的广告位;我想对用户的搜索关键词进行统计，分析出前的流行趋势；有些数据，存数据库浪费，直接存硬盘操作效率又低;这个时候，就可以用消息系统了，尤其是分布式消息系统

Kafka使用背景kafka的定义:是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础，具有高水平扩展和高吞吐量。应用领域：已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。如:淘宝，支付宝，百度，twitter等目前越来越多的开源分布式处理系统如Apacheflume、ApacheStorm、Spark,elasticsearch都支持与Kafka集成。

Kafka使用背景ActiveMQRabbitMQKafka所属社区/公司ApacheMozillaPublicLicenseApache/LinkedIn开发语言JavaErlangJava支持的协议OpenWire、STOMP、REST、XMPP、AMQPAMQP仿AMQP事物支持不支持不支持集群支持支持支持负载均衡支持支持支持动态扩容不支持不支持支持(zk)表1各种分布式队列对比ActiveMQ还是支持JMS的一种消息中间件阿里巴巴的metaq,rocketmq都有kafka的影子Kafka的动态扩容目前是通过zookeeper来完成的

Kafka初认识Kafka相关概念

Kafka相关概念AMQP协议Kafka支持的客户端语言Kafka架构

Kafka相关概念—AMQP协议一些基本的概念:消费者（Consumer）：从消息队列中请求消息的客户端应用程序；生产者（Producer）：向broker发布消息的客户端应用程序；AMQP服务器端（broker）:用来接收生产者发送的消息并将这些消息路由给服务器中的队列；

Kafka相关概念—kafka支持的客户端语言Kafka客户端支持当前大部分主流语言，包括:C、C++、Erlang、Java、.net、perl、PHP、Python、Ruby、Go、Javascript。可以使用以上任何一种语言和kafka服务器进行通信（即编写自己的consumer和producer程序）

Kafka相关概念—kafka的架构一些基本的概念:主题（Topic）：一个主题类似新闻中的体育、娱乐、教育等分类概念，在实际工程中通常一个业务一个主题；分区（Partition）：一个topic中的消息数据按照多个分区组织，分区是kafka消息队列组织的最小单位，一个分区可以看做是一个FIFO的队列;

Kafka相关概念—kafka的架构备份（Replication）：为了保证分布式可靠性,kafka0.8开始对每个分区的数据进行备份（不同Broker上），防止其中一个Broker宕机造成分区数据不可用zookeeper：一个提供分布式状态管理、分布式配置管理、分布式锁服务等的集群

Kafka初认识zookeeper集群搭建

Zookeeper集群搭建集群搭建集群配置参数介绍

Zookeeper集群搭建—集群搭建软件环境:Linux服务器一台、三台、五台（2*n+1台）；Javajdk1.7；zookeeper3.4.6版；

Zookeeper集群搭建—搭建成功标志在任一台机器运行shzkServer.shstatus出现下面两幅图中任一输出结果，说明你的集群成功搭建。

Zookeeper集群搭建—集群配置参数讲解重要配置:myid文件和server.myid；zoo.cfg文件；log4j.properties文件；zkEnv.sh和zkServer.sh文件

Kafka初认识Kafka集群搭建

kafka集群搭建集群搭建集群配置参数介绍

kafka集群搭建—集群搭建软件环境:Linux服务器一台或多台；已经搭建好zookeeper集群；kafka_2.9.2-0.8.1.1；启动kafka集群命令:kafka-server-start.sh-daemon$KAFKA_HOME/config/server.properties

Zookeeper集群搭建—搭建成功标志在两台机器上运行里面step3-step5成功(步骤中要将localhoast换成自己的机器ip)