2025数据仓库云服务的再演进.pdf

Cloudberry向量化与并行化实践

数据仓库云服务的再演进

2025

1传统数仓与云数仓的用户关注点变化

目

C2对DWaaS的期待

o

n

t录

e

n

3HashData云端架构2.0

t

s

4HashData的组件介绍

数据的准备与使用

成本

传统数仓

云数仓

搭建

使用

运维

简单、迅速的加载和使用数据

拥有完善的生态系统、活跃的社区

支持结构化、半结构化和非结构化数据的处理

提供强一致的的元数据、数据管理机制、满足多

种计算任务需求

配置和管理工作更简单、直接

内建高可用系统和数据保护系统

按使用计费、符合云计算弹性计费的预期

EKS服务已经成为公有云基础设施

从开发、持续集成、测试到最终

部署的统一体验

使用operator模式，能够更好的

对独立服务进行全流程管理

能够更快的创建/启动资源，提高

系统对客户请求的响应速度

网关服务

兼容PostgreSQL二进制协议，无缝

与libpq/PostgreSQLJDBC等兼容

支持更多安全配置的HashData企业

认证授权服务

支持通过SQL语句管理整个云服务

支持切换不同计算集群

更加高效的利用硬件资源

更容易实现负载均衡

查询优化服务

无状态服务，提供系统容错性

提供全局的查询计划缓存

根据实际数据存储、执行过程采样，智能更新

查询计划缓存

更加高效的利用硬件资源

资源管理服务

全局资源调度

全局资源监控

作业调度

计算服务

无状态计算服务

支持自动启动/自动停止

支持基于负载的自动扩缩容

基于Arrow的向量化执行引擎

文件缓存提高对象存储文件访问效率