数据架构分层设计与存储访问.pdfVIP

数据架构基本思路

◼数据仓库总体分层

–四层（前三层为层）

•ODS层–数据源原始数据

–特征：保留、数据结构与数据源完全相同

•IDW层–集成数据

–特征：单一粒度低粒度、少冗余

•RPT层–面向查询数据

–特征：多粒度、冗余

•DMT层–面向OLAP分析数据

–特征：按业务分析需求，以维度、定义表

–两区（每层分两个区）

•区–数据

–目前同一层的为同构（ODS层的为HBase,IDW/RPT的均为HDFS/Hive）。但在架构上允许同一层异构，

以支持将来业务和技术上的扩展，如ODS层可支持HBase+HDFS

–区不直接包括外部查询、及层与层之间的对外;任何外部需通过区

•区–数据接口（外部表、视图），负责权限控制

–区可由多个组件，如针对HBase的，可以由hive外部表的形式，后