uds海量存储系统关键技术介绍.pptx

华为UDS海量存储系统关键技术介绍

袁远

云存储领域总经理

2024-6-20

目录

大容量存储趋势分析

1

2

3

UDS海量存储系统关键技术

UDS海量存储系统硬件组网

大容量存储产业趋势分析

也许我们需要一种新的

的存储产品

2009:

0.8Zb

44

2020:35.2Zb

趋势：数据是激增的

烟囱式扩展

运维成本高

28%

Invent

72%

Maintain

Sys1

Sys2

Sys3

Sys4

现状：存储是低效昂贵的

AWS对象数2011年增长192%，达7k亿

解决方案1：“以租代购”

解决方案2：集中建设

技术驱动力

8TB/10TB的大容量归档硬盘即将面世

低功耗处理器和网络技术的快速发展

极大的容量

…

极低

TCO

新的存储品类：

海量存储系统

海量存储vs非海量存储

EB

100PB

10PB

海量存储

扩展：万节点，EB

吞吐：100GB/s

延时：100ms

典型应用：公有云运营，集中备份归档

企业存储

10+存储节点，10TB-10PB

吞吐：100MB/s-GB/s

延时：30ms时延，

典型应用：OLTP，企业文件服务器

大数据存储

扩展：百节点，100TB-100PB

吞入：10GB/s

延时：300ms时延，

典型应用：HPC,媒资

Gartner预计，通过外购第三方存储来提供云服务的市场2015年预计1.45b$

如果计算上企业应用，如集中备份归档等，预计整体市场空间2015年达7-8b$

海量存储市场量预测：起步小，增速快

海量存储主要玩家：玩家少，技术新

玩家较少，主要以创新性小厂为主

大厂进行了产品布局，但不是销售主力

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

P19

P26

P5

P12

对象存取接口S3

数据流

接入节点

负载均衡

数据流

P19

P26

P5

P12

智能硬盘

SEAOFDISKS

海量存储设计哲学

海量存储架构浅析—去中心，全分布，自组织

无状态的接入节点

简单高效的存储接口

基于动态算法的数据分布

物理节点

虚拟节点

A

P0,P7,P14,P21

B

P1,P8,P15,P22

…

……

SoD分布式哈希环

SoDClient

Hash(key)

P0

P1

P2

P3

P4

P5

P6

P7

P8

P9

P10

Pm

P20

P27

P6

P13

接入节点

单盘

存储节点

LBS

对象存取接口S3

P14

P21

P0

P7

P15

P22

P1

P8

P16

P23

P2

P9

P17

P24

P3

P10

P18

P25

P4

P11

P19

P26

P5

P12

A

C

D

B

G

F

E

节点映射表

强健的系统容错性和自愈性

分布式自组织的存储节点

数据流

扩展性——打掉一切瓶颈！

传统基于x86的架构

“智能盘”互联架构

EB级扩展

安全可靠

高效融合

更多的收敛意味更多的瓶颈

更多的收敛意味更多的故障点

更多的瓶颈和故障点需要更多复杂处理

更多的复杂处理意味着丧失扩展性

此外……

昂贵的CPU意味多余的功能，

多余的功能意味更高的成本

智能盘：1个AR盘，最细粒度硬盘管理

扩展性—无中心，自组织的数据分布

EB级扩展

安全可靠

高效融合

物理节点

虚拟节点

A

P00,P12,P24,P36,P48,P60,P72,P84

B

P03,P15,P27,P39,P51,P63,P75,P87

…

……

L

P11,P23,P35,P47,P59,P71,P83,P95

节点映射表

A

B

C

D

E

F

G

H

P61

P25

P01

P13

P49

P37

P64

P28

P04

P16

P52

P40

P67

P31