Iceberg 在湖仓建设的若干实践.pdfVIP

— 2023 — Iceberg在湖仓使用中的若干探索 李立伟 华为 资深工程师 整体概述 应用探索 整体概述 使用传统的目录方案进行数据管理 在传统方案，例如Hive 中，表被定义为一个或多个目录的全部数据。 组成表的数以目录级别进行跟踪，这些数据被存储在Hive元存储中完成。 分区值通过目录路径定义： • 适用于几乎所有处理引擎，因为它是村里唯一的希 • 即使微小的变更依旧效率低下 望——自从大数据被更广泛采用以来，一直是事实 • 多分区修改无法保证安全性 上的标准。 • 多个作业同时修改一份数据无法保证安全性 • 分区级别原子性 • 列出大表的目录列表需要非常长的时间 • 存储格式无关