Velox内存管理新一代数据架构.pdf

VeloxMemoryManagement

段蒙腾讯高级工程师

孟晓烜Meta软件工程师

DataFunCon#2024

自我介绍

•腾讯大数据NativeEngine团队负责人

•培养了3位Velox贡献者

•目前贡献了147个commit，国内领先

•TopVelox贡献者，#10，国内#1

•ApacheUnifflefounderPPMC

Contents

目录

Velox介绍Spilling

Velox内存管理未来规划

Velox介绍

Velox是什么

Meta开源的，C++开发的，

高性能查询引擎库：

•Vectorizedexecutionengine

•Push-basedpipelinemodel

•通用API，扩展性强，可重用

•最终的物理计划作为输入

•专注单机上查询执行优化，adaptive

•Noparser，nooptimizer

Velox的愿景

Velox概览

•Type

•Scalar,map,struct,array...

•Vector

•Arrow-compatible,columnarmemorylayout

•Flat,dictionary,constant…

•ExpressionEval

•Fullyvectorized,adaptive,peeling,constantfolding…

•Operators

•Join,Aggregation,OrderBy…

•ResourceManagement

•Memory,cache,spilling,threads

•Functions

•Scalar,aggregatefunctions

•I/O

•Connectors,filesystem,fileformat,serializer

Velox执行

https://prestodb.io/blog/2024/06/24/diving-into-the-presto-native-c-query-engine-presto-2-0/

VeloxMemoryManagement

设计原则

Velox内存系统是为在固定的内存资源中，有效、安全的支持运行高度多样性查询

工作负载而设计的：

•内存分配

•优化小块内存管理

•优化查询内存分配模式

•内存共享

•查询级别的细粒度的内存使用追踪

•运行的查询之间的公平内存共享与仲裁

•内存容量

•总容量限制

•查询和缓存之间动态内存共享

内存管理器

•内存池（MemoryPool），内存使用容量的追踪与分配

•仲裁器（MemoryArbitrator），内存容量的仲裁与共享

•分配器（MemoryAllocator），物理内存分配和总容量控制

内存池

内存池类型：

•Rootpool，内存容

量控制

•AggregatePool，

内存用量聚合

•LeafPool，内存使

用申请。

预留与回收

预留（MemoryReservation）申请的size实际分配的size

16MB按照1MB的粒度向上取整

•Quantized

64MB按照4MB的粒度向上取整

•在memoryarbitrator容量限制之