基于spark的大数据分析平台的搭建与应用.docx

PAGE

PAGE3

基于spark的大数据分析平台的搭建与应用

摘要

该大数据处理平台采用当下最为流行的大数据处理框架技术进行科学合理搭配，旨在解决数据从存储到处理的一系列工作流程。

本平台基于HadoopHDFS大数据分布式存储框架进行底层数据分布式存储，结合Hive数据仓库，方便将数据进行统一管理。

数据处理部分基于spark底层SparkCore及Spark全家桶（SparkMLlib，SparkSql，SparkR...）与Hadoop数据存储部分紧密结合。考虑到传统数据的存储大都依赖于关系型数据库例如Mysql、Oracle，本平台采用Sqoop技术制定合理