张力-Blaze快手自研Spark向量化引擎从生产实践到社区开源.docxVIP

演讲嘉宾：快手数据平台部张力

演讲嘉宾：快手数据平台部张力

内容大数据引擎向量化的原理、业界发展趋势1向量化在快手Spark引擎上的应用2Blaze引擎社区开源计划和未来目标3

内容

大数据引擎向量化的原理、业界发展趋势

1

向量化在快手Spark引擎上的应用

2

Blaze引擎社区开源计划和未来目标

3

关于向量化的介绍

关于向量化的介绍

向量化(Vectorization)是什么？大数据计算引擎中的向量化是一种通过利用计算机硬件的并行处理能力，一次性处理多个数据

向量化(Vectorization)是什么？

大数据计算引擎中的向量化是一种通过利用计算机硬件的并行

处理能力，一次性处理多个数据的计算方法，从而提高计算的速度和效率。

这种方法相比传统的逐个循环，可以大幅减少计算时间和资源

消耗，并广泛应用于科学计算、机器学习等领域。

列式存储(ColumnarStorage)业界应用：Parquet、ORC等存储格式??更高的压缩率更高效读取部分数据?更适合向量化计算

列式存储(ColumnarStorage)

业界应用：Parquet、ORC等存储格式

?

?

更高的压缩率

更高效读取部分数据

?

更适合向量化计算

向量化计算传统数据引擎的计算是基于行的，逐行计算，适合数据量小、计算复杂度低的场景。向量化计算是基于列的，整列加载到内存中进行向量运算，适合数据量