大数据中台架构栈.docxVIP

大数据中台架构栈 大数据中台架构栈 大数据中台架构栈 WORD格式 近来数据中台观点大火，大家对它的定义也八门五花，不一而足。但不论怎么定义，一个完美的数据技术架构必不行少。认识这些架构里每个部分的地点，功能和含义，不单能让我们更好认识数据产品的范围和界限，知道技术能帮我们实现什么，能怎么实现得更好，另一方面，好多技术的设计理念对我们认知世界，认识复杂系统也会有所裨益。所以这篇文章旨在梳理市道上常有的开源技术方案，背后原理及应用处景，帮助产品经理对大数据技术系统有个大概全面的认识。 一般来说，我们将数据整个链条区分为四个环节，从数据采集传输，到数据储存，再到数据计算 查问，到 后续的数据可视化及剖析。框架图以下： 1.数据采集传输 这个一般对应于公司的日记平台，任务是将数据采集后缓存在某个地方，供后续的计算流程进行花费使用。 针对不一样的数据根源有各自的采集方式，从 APP/服务器日记，到业务表，还有各样 API 接口及数据文件 等等。此中由于日记数占有数据量多，数据构造多样，产生环境复杂等特色，属于「要点关照」的对象。 当前市道针对日记采集的有 Flume， Logstash ， Filebeat ， Fluentd ， rsyslog 几种常有的框架，我们挑 应用较宽泛的前二者介绍下： 1.1 Flume 和 LogstashFlume 是一款由 Cloudera 开发的及