大数据中台架构栈.docVIP

精选大数据中台架构栈 精选大数据中台架构栈 PAGE / NUMPAGES 精选大数据中台架构栈 优选文档 近来数据中台看法大火，大家对它的定义也五花八门，不一而足。但无论怎么定义，一个完满的数据技术 架构必不可以少。认识这些架构里每个部分的地址，功能和含义， 不但能让我们更好认识数据产品的范围和界线，知道技术能帮我们实现什么， 能怎么实现得更好， 另一方面， 很多技术的设计理念对我们认知世界，认识复杂系统也会有所裨益。 因此这篇文章旨在梳理市道上常有的开源技术方案，背后原理及应用途景， 帮助产品经理对大数据技术系统有个大体全面的认识。 一般来说，我们将数据整个链条划分为四个环节，从数据收集传输，到数据储藏，再到数据计算 盘问，到 后续的数据可视化及解析。框架图以下： 数据收集传输 这个一般对应于企业的日志平台， 任务是将数据收集后缓存在某个地方， 供后续的计算流程进行花销使用。 针对不相同的数据本源有各自的收集方式， 从 APP/ 服务器 日志，到业务表， 还有各种 API 接口及数据文件等等。其中因为日志数据有数据量多，数据结构多样，产生环境复杂等特点，属于「重点关照」的对象。 目前市道针对日志收集的有 Flume ， Logstash ，Filebeat ， Fluentd ，rsyslog 几种常有的框架，我们挑 应用较广泛的前两者介绍下： 1.1 Flume 和 Logs