原创力文档基于Paimon的增量数仓在Shopee的实践
ShopeeExpertEngineer
吴文超
增量场景的问题增量数仓构建方案
未来规划落
未来规划
Shopee的业务数仓在增量场景下面临的问题
Shopee的业务数仓增量化场景介绍
5h+全量计算耗时1000+
5h+
全量计算耗时
1000+
ODS核心表
PB级
日增数据量
3%
日均变化率
典型ODSBinlog增量链路
存储膨胀单个快照大小≈当前表全量规模；
存储膨胀
单个快照大小≈当前表全量规模；
保留M天快照，总存储≈M×全量表规模
写入放大
同一行每天
您可能关注的文档
- 2026年移动性别差距报告 The Mobile Gender gap report 2026.docx
- 2026年医疗与生命科学领域核心趋势报告 Health Care & Life Sciences Top Trends for 2026.docx
- 2026年下半年海外宏观形势展望：地缘缓和下的修复与分化.docx
- 2026年世界杯社会经济影响分析报告 WORLD CUP 2026 SOCIOECONOMIC IMPACT ANALYSIS.docx
- 2026年全球工业远程访问现状报告 The State of Industrial Remote Access 2026.docx
- 2026年全球电子商务趋势报告：供需双视角洞悉行业未来发展驱动因素 2026 E-Commerce Trends Report A market in motion. Two sides of the story. Track the forces shaping the future of the industry-DHL.docx
- 2026年企业语音 AI 规模化落地战略指南：2025年回顾与2026年语音 Agent 发展走向 Voice AI 2026 A Strategic Guide for scaling Enterprise Voice AI What happened in 2025 and what it means for voice agents in 2026.docx
- 2026年独立餐厅行业报告 2026 Independent Restaurant Industry Report.docx
- 2026年北欧科技产业研究报告 Nordics Tech Report.docx
- 2026年6月全球流媒体订阅市场现状：新增用户与广告 STATE OF SUBSCRIPTIONS Adds & Ads June 2026.docx
最近下载
- 中山市朗玛化工实业改扩建项目环境影响报告书.pdf VIP
- 重症专科护士理论考试试题及答案 .pdf VIP
- 江苏瑞晨化学有限公司年产1万吨醋酸丁酸纤维素、1.2万吨三醋酸甘油酯扩建项目环境影响报告书.pdf VIP
- KOHLER科勒科勒台上式洗碗机机4套一件启动安装说明书.pdf
- 2022年宜春幼儿师范高等专科学校教师招聘考试真题.pdf VIP
- 【阅读版】应用文第1-3期.pdf VIP
- 2025浙江宁波市奉化区文化旅游集团有限公司招聘笔试及笔试历年常考点试题专练附带答案详解.docx VIP
- 2026全国中学生天文知识竞赛备赛试题库（300题）.docx VIP
- 05X101-2 地下通信线缆敷设--.pdf VIP
- 财产保全查控申请书模板.doc VIP
文档评论（0）