Scribe架构原理57课件讲解.pptxVIP

Scribe架构原理

了解scribe的架构

一、scribe的系统架构

二、日志服务器

三、中心和存储服务器

1.scribe的系统架构

scribe的总体结构分为三部分，日志服务器、中心服务器和存储服务器。

2.日志服务器

Agent:

读文件末尾的方式读取本地目录下的日志文件，

并将数据写到本地的local_server。

2.日志服务器

local_server:

local_server通过zookeeper定位到center_server，

并将数据发送给远端的center_server。

3.中心和存储服务器

中心服务器：

center_server其实和local_server是同一套程序，只是配置文件不一样，它们通过thrift进行通信。center_server收到数据后，根据配置将各个category的数据发向不同的方向，比如写到HDFS、发到Kafka集群等等。

3.中心和存储服务器

存储服务器：

日志被收集到存储服务器以后，就可以进行离线/实时的统计分析了。比如，HDFS是用来永久存储日志，并给MapReduce提供离线数据的；Kafka则是给Storm集群提供实时数据流，以实时的统计分析。

大数据采集的数据来源

商业数据

商业数据企业系统当中比如ERP、支付系统、POS终端的业务数据，这个数据也是现在大数据采集的主要数据来源。

大数据采集的数据来源

物联