新一代数据架构：Velox Memory Management-2024大数据大模型峰会.pdf

VeloxMemoryManagement

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

段蒙腾讯高级工程师

孟晓烜Meta软件工程师

DataFunCon#2024

自我介绍

•腾讯大数据NativeEngine团队负责人

•培养了3位Velox贡献者

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•目前贡献了147个commit，国内领先

•TopVelox贡献者，#10，国内#1

•ApacheUnifflefounderPPMC

Contents

目录

Velox介绍Spilling

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

Velox内存管理未来规划

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

Velox介绍

Velox是什么

Meta开源的，C++开发的，

高性能查询引擎库：

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•Vectorizedexecutionengine

•Push-basedpipelinemodel

•通用API，扩展性强，可重用

•最终的物理计划作为输入

•专注单机上查询执行优化，adaptive

•Noparser，nooptimizer

Velox的愿景

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

Velox概览

•Type

•Scalar,map,struct,array...

•Vector

•Arrow-compatible,columnarmemorylayout

•Flat,dictionary,constant…

•ExpressionEval“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•Fullyvectorized,adaptive,peeling,constantfolding…

•Operators

•Join,Aggregation,OrderBy…

•ResourceManagement

•Memory,cache,spilling,threads

•Functions

•Scalar,aggregatefunctions

•I/O

•Connectors,filesystem,fileformat,serializer

Velox执行

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

https://prestodb.io/blog/2024/06/24/diving-into-the-presto-native-c-query-engine-presto-2-0/

“大模型”与“大数据