分布式存储在网盘和在线备份的应用研究-大数据文档资料.pptx

分布式存储在网盘和在线备份的应用研究

@卢亿雷

CarboniteChina技术总监兼高级架构师

jlu@

2012-10-25

互联网存储应用的特点

网盘与在线备份的特点

云存储平台简介

总体实现方案

分布式数据库架构

分布式数据库特点

分布式文件系统架构

©2012C凯备份3

提纲

高可靠：数据多份存储

高可用：7X24小时

高扩展：随时扩容

高性能：高并发，低延迟

高安全：分布式密钥和严格IDC管理制度

高性价比：价格成本可控制

易监控和维护：响应及时

©2012C凯备份4

互联网存储应用的特点

网盘与在线备份有很多相同点

•后台架构类似

•访问方式相似（上传及下载）

•都是云存储服务

•目标都是解决数据存储问题等

在线备份相对网盘（同步盘）的特殊性

•是否保持用户的原始路径

•是否有设备的区分

•是否可以备份企业级数据库

•是否密钥用户可以自己保存

©2012C凯备份5

网盘和在线备份的特点

小数据存储层

大数据存储层

业务处理层

数据应用层

Hadoop/Carbonite

HDFS

©2012C凯备份6

MySQL

MongoDB

CFS

手机客户端

PC客户端

WEB

HBase

文件流信息

云存储平台简介

总共有1000亿个文件

每天增加近1个亿新文件

总共服务器台数约有1万台

总存储量约为200P

©2012C凯备份7

云存储平台简介(二)

分布式数据库：关系数据库与非关系型数据库(NoSql)集群解决结构化数据的海量存储和高效访问

•MySQL

•HBase

分布式文件系统：以文件为存储单位的非结构化数据存储

•HDFS

•MongoDB

前端应用负载均衡

•LVS

•Ngnix

©2012C凯备份8

总体实现方案

©2012C凯备份9

分布式数据库架构

离散数据信息

交易数据等文件属性等

MySQL

HBase

©2012C凯备份10

分布式数据库架构(二)

Master1,2,3

Slave1,2,3,4,5

Master1,2

Slave1,2

同步服务

成熟度比较高，目前已有多个著名公司在使用

•Taobao

•Facebook

•Adobe

•Twitter

•Yahoo!

•TrendMicro

•广告分析公司

©2012C凯备份11

分布式数据库特点-HBase

行强一致性

•同一行数据的读写只在同一台RS（RegionServer）机器上进行

•同一行的列的写入是原子操作

水平自动伸缩

•Region的自动分裂(生产系统需要看具体情况)

•Master的自动均衡

•增加RegionServer机器即增加读写吞吐量及处理能力

•增加DataNode机器可增加容量

©2012C