Alluxio：2024对云上分析SQL引擎进行I、O优化的成本效益白皮书.pdfVIP

�ALLUXIO白皮书

对云上分析SQL引擎

进行1/0优化的成本效益

TheCostEffecton1/0OptimizationforAnalyticalSQLonCloud

＊本白皮书版权归属千北京开元维度科技有限公司，未经授权，不得进行任何形式转载和分发。

摘要

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。

我们发现，与云存储相关的独特成本模型要求对性能优化有更细致的了解。具体而

言，根据从UberPresto生产环境中收集的数据，我们认为在云中简单地应用常见

的1/0优化，比如tablescan和filter（表扫描和过滤），以及broadcastjoin

（广播连接）可能会产生意想不到的成本。这是因为传统的1/0优化主要侧重千改

善本地环境中的吞吐量或延迟，而没有考虑到与存储API调用相关的财务成本。在

云环境中，这些成本可能会非常高昂仅在Uber实际的使用规模下，Presto工作

1

负载每天就可能涉及数十亿次的API调用。本文将以案例研究的形式呈现1/0优化

逻辑和思路，可作为读者进一步研究的起点，从而设计出专门针对云环境中数据密

集型应用的高效1/0策略。

01

目录

3

1导言

5

2云成本模型

866

31/0优化对工业分析负载的影响

3.1工业分析流量模式在云1/0成本方面的挑战

3.2Tablescan和filter优化带来的成本挑战

9

3.3BroadcastJoin优化的成本挑战

4讨论11

4.1提高存储资源效率

11

4.2创建带缓存的虚拟存储层

12

4.3具备成本意识，重新设计数据密集型应用