200000节点数据仓库在⼤型商业银⾏的落地实践-HashData-马涛.pdfVIP

200000节点数据仓库 在⼤型商业银⾏的落地实践 HashData新⼀代云原⽣数据仓库产品特点 MPP架构查询能⼒ 超⾼的查询性能 标准SQL⽀持 完善的⽣态系统 HDW 云计算弹性 ⼤数据平台灵活性 ⽆限的计算存储能⼒ 计算和存储分离 动态伸缩 优异的扩展性 ⾼性价⽐的存储 故障⾃动恢复 HashData在某国有⼤⾏应⽤规模情况 • 压缩数据存储 13PB • 数据净增量 20-50TB/天 • 计算集群节点数量 19,805 • 计算集群数量 95 • 数据库表数量 1,209,912 • 元数据 RPC 请求数量 70亿次/天 • 作业执⾏情况（按银⾏业务统计） 百万/天 • SQL语句执⾏情况（包含复杂函数功能）千万/天 HashData 云数仓为某国有⼤⾏解决的问题 ◆ 并发能⼒和可扩展性不⾜，分库分表造成⼤量数据冗余 ◆ 数据的存储和计算不分离，数