Storm企业项目实战（含多个完整应用）.ppt

Storm企业项目实战 （含多个完整应用） Kafka 启动、创建topic 在kafka的部署目录下，在各个节点上通过如下命令来启动： $ nohup ./bin/kafka-server-start.sh ./config/perties [root@master ~]# jps 3098 ZooKeeperMain 3037 Kafka 创建topic： $ bin/kafka-topics.sh --zookeeper 07:2181,08:2181 --topic topicName --replication-factor 1 --partitions 1 --create 其中， --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数 查看全部Topic： bin/kafka-topics.sh --zookeeper 07:2181,07:2181 --list 删除Topic： ./bin/kafka-topics.sh --topic topicName –zookeeper \ 07:2181,07:2181 --delete 查看Topic明细： ./kafka-topics.sh --topic test --describe --zookeeper 07:2181,07:2181 Productor： bin/kafka-console-producer.sh --broker-list?? 07:9092,08:9092 --topic topicName Consumer: bin/kafka-console-consumer.sh --zookeeper 07:2181,07:2181 --topic topicName --from-beginning ? 生产和消费 异常处理 报异常： Failed to load class org.slf4j.impl.StaticLoggerBinder 解决方法： 下载slf4j-1.7.6.zip wget /dist/slf4j-1.7.6.zip 解压 unzip slf4j-1.7.6.zip 把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面 broker.id 整数，建议根据ip区分 log.dirs kafka存放消息文件的路径， 默认/tmp/kafka-logs port broker用于接收producer消息的端口 9092 zookeeper.connnect Zookeeper server 列表 格式为? ip1:port,ip2:port,ip3:port message.max.bytes 单条消息的最大长度 work.threads broker用于处理网络请求的线程数 如不配置默认为3，perties默认是2 num.io.threads broker用于执行网络请求的IO线程数 如不配置默认为8，perties默认是2可适当增大， queued.max.requests 排队等候IO线程执行的requests 默认为500 broker的hostname 默认null,建议写主机的ip,不然消费端不配置hosts会有麻烦 num.partitions topic的默认分区数 默认2 log.retention.hours 消息被删除前保存多少小时 默认1周168小时 auto.create.topics.enable 是否可以程序自动创建Topic 默认true,建议false default.replication.factor 消息备份数目 默认1不做复制，建议修改 num.replica.fetchers 用于复制leader消息到follower的IO线程数 默认1 服务端config/perties 中配置项： Consumer设置 Consumer从kafka集群消费（pull或push方式）数据，并控制获取消息的offset偏移量。 Property Default Description group.id  可用于标识部门，it1，it2… zookeeper.connect  ZK Server 列表 consumer.id null 自动生成，不需设置 socket.timeout.ms 30 * 1000 socket.receive.buffer.bytes 64 * 1024 The socket receive buffer for network requests mit.enable true