《大数据分析与应用》课件——单元2 大数据分析平台.pptx

大数据分析与应用

BIGDATAANALYSISANDAPPLICATION

单元2大数据分析平台

主要内容

常用大数据分析平台

阿里云大数据平台

阿里云大数据计算服务MaxCompute

一站式大数据平台DataWorks

BI平台QuickBI

数据大屏DataV

机器学习平台PAI

主要内容

常用大数据分析平台

阿里云大数据平台

阿里云大数据计算服务MaxCompute

一站式大数据平台DataWorks

BI平台QuickBI

数据大屏DataV

机器学习平台PAI

大数据分析平台

什么是大数据分析平台

Hadoop大数据分析平台系统架构

什么是大数据分析平台

大数据分析平台就是依据企业的数据需求，整合当前主流的、成熟的各种具有不同侧重点的大数据

处理分析框架和工具，实现对海量数据的挖掘和分析，满足企业的数据需求。通常意义上讲，大数

据分析平台包括如下功能模块：

■数据源：数据源决定着数据采集，结构化、非结构化、日志类数据、流式数据等；

■数据采集：即将数据导入到大数据分析平台

■数据存储：采集后的数据，经过系统的清洗，转换、分类等操作，将数据储存在系统中，为了便

于数据分析时的提取

■数据处理和分析：对存储在系统中的数据分析、处理，数据处理与分析的快慢，是检验数据分析

系统功能的重要指标，数据分析系统得出数据分析的最终结果，用于业务应用。

■数据展示：数据可视化，分析的结果以视觉的角度展现在用户面前，达到最终的作用。

大数据分析平台

什么是大数据分析平台

Hadoop大数据分析平台系统架构

基于Hadoop的大数据分析平台

大数据平台是对海量结构化、非结构化、半结构化数据进行采集、存储、计算、统计、分析处理的一

系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，其涉及的技术主要

有分布式计算、高并发处理、高可用处理、集群、实时性计算等。

■Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集

群中对海量数据进行分布式计算；

■Hadoop框架中最核心的设计是HDFS和MapReduce;

■HDFS是一个高度容错性的系统，MapReduce是一套可以从海量的数据中提取数据最后返回结果集

的编程模型；

■Hadoop家族还包含各种开源组件，比如Yam,Zookeeper,Hbase,Hive,Sqoop,Impala,

Spark等；

Hadoop大数据分析平台系统架构

平台管理层上层应用数据应用：Tableau、Qlikview、

PowrerBI等

数据分析层

HivePig

(数据分析)(数据分析)数据挖掘分析：Hive(HQL)、Pig、

编程模型层Impala、Spark等

)MapReduce/YarnSamza/storm

度

)(编程模型)(编程模型)

r

调

e

理

i

p

与

r

e数据存储层

管

a

e

置

b

k

台

m

o

配HCatalogHbaseRedis

A

o

平数据存储：列存储HBASE、NoSQL

Z

台

((元数据管理)(数据存储)(数据存储)