Hadoop数据分析平台搭建方案.docx

Hadoop数据分析平台搭建方案企业发展到一定规模都会搭建单独的BI平台来做数据分析，即OLAP（联机分析处理），一般都是基于数据库技术来构建，基本都是单机产品。除了业务数据的相关分析外，互联网企业还会对用户行为进行分析，进一步挖掘潜在价值，这时数据就会膨胀得很厉害，一天的数据量可能会成千万或上亿，对基于数据库的传统数据分析平台的数据存储和分析计算带来了很大挑战。为了应对随着数据量的增长、数据处理性能的可扩展性，许多企业纷纷转向Hadoop平台来搭建数据分析平台。Hadoop平台具有分布式存储及并行计算的特性，因此可轻松扩展存储结点和计算结点，解决数据增长带来的性能瓶颈。随着越来越多的企业开始使用Hadoop平台，也为Hadoop平台引入了许多的技术，如Hive、Spark SQL、Kafka等，丰富的组件使得用Hadoop构建数据分析平台代替传统数据分析平台成为可能。01数据分析平台架构原理从概念上讲，我们可以把数据分析平台分为接入层（Landing）、整合层（Integration）、表现层（Persentation）、语义层（Semantic）、终端用户应用（End-user applications）、元数据（Metadata）。基于Hadoop和数据库的分析平台基本概念和逻辑架构是通用的，只是技术选型的不同：接入层（Landing）：以和源系统相同的结构暂存原始数据，有时