新一代架构-知乎-贾承昆-00-DataFunCon2023 知乎大数据跨机房实践·深圳站ppt 1103.pdfVIP

知乎多机房实践

贾承昆知乎数据平台负责⼈

DataFunCon#2023

Contents

⽬录

背景和介绍计算跨机房总结

存储跨机房数据和作业迁移未来的存储系统

⼀、背景和介绍

1.1业务背景

•机房容量不⾜，⽆法扩容

•业务数据快速且持续增⻓

•数据治理⽆法扭转数据增⻓的⻓期趋势

1.2解决⽅案

1.迁移到更⼤的机房

2.使⽤云计算服务

3.多机房架构

1.3Hadoop多机房原理

1.机架感知-可⽤区感知

2.多机房读写优化

3.⽆感知作业调度

1.4多机房规划

1.存储容量评估

2.专线流量评估

3.专线建设

⼆、存储跨机房设计

2.1HDFSFederation介绍

1.多BlockPool

2.ViewFS-RBF

2.2可⽤区感知

1.⾃定义多可⽤区副本分布策略

-path:/

2.数据写⼊遵从2+1或者2+2分布