数据仓库建库困境二三事.pptVIP

“打怪升级” 之 数仓困境二三事 Overwrite • 统一的架构 • 我们的困境 • 最终的方向 大数据平台 大数据平台 理想 现实 怪兽 之 三足鼎立 当时是这样的 整合数据抽取 Sqoop • 将 Hadoop 和 关系型数据库 中的数据相互 转移的工具 • 封装到开发工具箱中 Sqoop Sqoop • 现象：抽取不稳定 – 每日抽取变化量 – 正常5分钟以内 – 异常30min以上 Sqoop • 原因：数据不均 Sqoop • 原因：数据不均 [min, max) 数据不均匀 select … from tabName where key = min and key max Sqoop • 方案：重新打散，实现Splitter select … from where (key = or (key = or (key = or (key = tabName min0 and key max0) min1 and key max1) min2 and key max2) … and key …) Sqoop • 方案：重新打散，实现Splitter 怪兽 之 报表快跑 数据及时性 • 数据量增长/大促 – 重要报表延迟 • 原因 – 凌晨数据同步占