文本讲稿文案dwarch simp ver1.pdfVIP

数据架构基本思路

◼数据仓库总体分层

–四层（前三层为层）

•ODS层–数据源原始数据

–特征：保留、数据结构与数据源完全相同

•IDW层–集成数据

–特征：单一粒度低粒度、少冗余

•RPT层–面向查询数据

–特征：多粒度、冗余

•DMT层–面向OLAP分析数据

–特征：按业务分析需求，以维度、定义表

–两区（每层分两个区）

•区–数据

–目前同一层的为同构（ODS层的为HBase,IDW/RPT的均为HDFS/Hive）。但在架构上允许同一层异构，

以支持将来业务和技术上的扩展，如ODS层可支持HBase+HDFS

–区不直接包括外部查询，任何外部需通过区

•区–数据接口（外部表、视图），负责权限控制

–区可由多个组件，如针对HBase的，可以由hive外部表的形式，后续可添加Phoenix；针对Hive的，

目前可Hive/Impala视图，后续可添加SparkSQL

–区不任何业务数据，所有业务数据需在区

数据架构

1.ODS层2.IDW层3.RPT层4.DMT层

所有的数据，可保留转换、集成后的低粒度数据按业务报表需求数据按业务分析需求数据(数据集市)

区区区区

以HBase为主,可扩展其它方按Hive表方式(parquet格式)存按Hive表方式(parquet格式)存按Hive表方式(parquet格式)

式(如直接到指定HDFS目录)储在HDFS中储在HDFS中在HDFS中

区区区区

以Hive外部表的方式以Hive/Impala视图的方式外以Hive/Impala视图的方式外以Hive/Impala视图的方式外

（将来可开放Phoenix接口)部部部

ING层

数据中转层，存放ETL处理临时数据

兼区(Hive/HBase)

中转数据暂在Hive(Textfile或ORC格式）、HBase或指定HDFS目录中。

Metadata层

数据库元数据（如各层表、字段的定义），ETL的数据等

兼区

在Oracle数据库中。

ETL架构

1.ETL层

业务逻辑的ETL实现

HadoopCluster

Data0ODS1ODS2IDW3RPT4DMT

Sources

(