Rapids大数据平台介绍.pptx

Rapids大数据平台介绍

传统大数据平台

EDW

数据中心

数据整合

数据治理

数据操作

数据安全

数据访问

数据管理

Hi,太慢了，能

再快点吗?

OLTP业务系统文档邮件

Hadoop处理速度慢

00

mms

日志流量

手持设备地理位置

h=dcp

数据系统

应用层

数据层

B报表热点分析

迁移慢

入库慢

RDBMS

企业应用

统计分析

移动应用

社交网络

物联网

MPP

■■

3、内抽取[

RDBMSEDW=

Rapids大数据平台

2、内存数据库铁写快

DataBus

企业应用

、高速分布式内存缓存

社交网络物联网手持设备地理位置

统计分析BI报表热点分析

内存处理无处

不在

大数据不只是

Hadoop

数据操作

数据安全

MGrid(并行分布式内存网格)

数据访问

数据管理

出

移动应用

0

●

日志流量

Hadoop2

OLTP业务系统文档邮件

大数据+快数据

Rapids

数据系统

RapidsDB

Q7TP内存数据库

数据层

应用层

数据中心

数据整合

品分发

MGrid

數据治理

行

二

ODS

MPP

00

RapidsHadoop

(HDP2.1)

Rapids家族产品

RapidsManager

RapidsMGrid

RapidsDB

R,Mahout,MachineLearning(机器学习)

YARN(Hadoop2计算框架)

HDFS

(HadoopDistributedFileSystem)

数据管理

数据治理整合

数据生命周期流程治

理

Falcon

Sqoop

Flume

NFS

WebHDFS

操作

监控管理

AmbariZookper

流程

OOZIE

Cascading

部署选择

LinuxWindows

-----

RapidsRestAPlRapidsManager

安全

HDFS加/解密

Kerberos

LDAP

SQL

HiveTe2

Hcatlog

Stinger

NoSQ

HBase

Accumulo

批量

MapReduce

内存计算

Spark

流计算

Solr

流计算

Storm

云部署(Openstack)

脚本

Pig

数据访问

本地部署

◎支持高效Sql查询(TezStinger)

◎融合内存计算技术(Spark)

◎支持企业级应用

◎支持云计算部署(OpenStack)

◎唯一支持Windows部署

◎安全、可靠、速度快、性价比高

◎提供丰富的API扩展接口

RapidsHadoop特点

基于HortonworksHadoop2

RapidsMGridClient(JAVA,C,C++,C#)

部署选择

LinuxWindows

……

RapidsMgrid——内存数据网格

数据治理整合

Rapids导入导出组件

数据访问

RapidsMGridCLI

分布式内存

数据处理

RapidsMGridMapReduce/分布式计算

安全

JAAS验证和授权API

RapidsMGridRestAPI

MGrid管理控制台

本地部署…

RapidsMGridJDBC

云部署(Openstack)

操作

◎无单点故障，数据安全可靠

◎强大的管理控制台

◎支持百万级/秒的数据处理速度

◎支持Hibernate二级缓存

⑨支持Hadoop等大数据平台

支持内存MapReduce

◎支持简单Sql查询

◎支持JVM分布式集合对象

⑨简单易用，迁移维护成本低

◎独特的ElasticMemory技术

RapidsMGrid特点

OLTP,Hadoop

RapidsDB——内存数据库

RapidsDBAPI

部署选择

本地部署

内存

数据管理

…--…---…--…------

Windows

云部署(Openstack)

RapidsManager

Rapids框架

Linux…

SQL引擎

事务管理

⑨完善的Sql查询支持

⑨强大的管理控制台

⑨支持十万级/秒的事物处理速度

◎支持Hadoop等大数据平台

◎实施成本低

分布式ACID事务型内存数据库

◎无宕机横向扩展，动态扩容

◎简单易用，迁移维护成本