什么样的大数据平台架构，才是最适合你的？ .docVIP

什么样的大数据平台架构，才是最适合你的？ 技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 　　它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。 　　大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个能用原则，清晰且容易理解，能指导建设，这里将大数据平台划分为五横一纵。 　　具体见下图示例，这张图是比较经典的，也是妥协的结果，跟当前网上很多的大数据架构图都可以作一定的映射。 　　何谓五横，基本还是根据数据的流向自底向上划分五层，跟传统的数据仓库其实很类似，数据类的系统，概念上还是相通的，分别为数据采集层、数据处理层、数据分析层、数据访问层及应用层。 　　同时，大数据平台架构跟传统数据仓库有一个不同，就是同一层次，为了满足不同的场景，会采用更多的技术组件，体现百花齐放的特点，这是一个难点。 　　数据采集层：既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。 　　数据处理层：根据数据处理场景要求不同，可以划分为HADOOP、MPP、流处理等等。