项目二 工业制造数据采集-1-2.pptx

项目二工业制造数据采集工业大数据采集技术主讲：罗金凯

工业制造数据采集概述Kafka概述Kafka集群搭建Kafka集群消息订阅与发布分布式采集原理与实现工业制造电力变压数据采集案例CONTENTS

Kafka概念——Broker和集群一个Kafka服务器也称为Broker，它接受生产者发送的消息并存入磁盘；Broker同时服务消费者拉取分区消息的请求，返回目前已经提交的消息。使用特定的机器硬件，一个Broker每秒可以处理成千上万的分区和百万量级的消息。

Kafka概念——Broker和集群若干个Broker组成一个集群（Cluster），其中集群内某个Broker会成为集群控制器（ClusterController），它负责管理集群，包括分配分区到Broker、监控Broker故障等。在集群内，一个分区由一个Broker负责，这个Broker也称为这个分区的Leader；当然一个分区可以被复制到多个Broker上来实现冗余，这样当存在Broker故障时可以将其分区重新分配到其他Broker来负责。

Kafka概念——Broker和集群

Kafka概念——Broker和集群Kafka的一个关键性质是日志保留（retention），我们可以配置主题的消息保留策略，譬如只保留一段时间的日志或者只保留特定大小的日志。当超过这些限制时，老的消息会被删除。我们也可以针对某个主题单独设置消息过期策略，这样对于不同应用可以实现个性化。

Kafka概念——消息代理Kafka集群是由多个broker组成的，broker负责消息的读写请求，并将数据写入到磁盘中，通常在每个服务器上都启动一个broker实例，通常情况一台服务器就是一个broker。

Kafka概念——消息代理假如kafka集群由8个broker组成，集群中的组成有8个分区，分别是p0到p7，副本因子是3，就是说每个数据存在3份，每个分区都有一个leader，两个follower，以第一个broker为例这个broker有三个分区，P0、P1、P2，P1这个分区是一个leader，P1的所有读写请求都是由这个Broker进行处理的，P0和P2分区是follower，这个broker只负责从p0和p2的leader中同步数据，而不负责这两个分区的读写请求。

Kafka概念——消息代理

THANKS