阿里云DataWorks学习——数仓架构设计.docxVIP

阿里云DataWorks学习——数仓架构设计 本教程中，在ODS层次要包括的数据有：买卖系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。规律上，这些数据都是以二维表的方式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的规划ODS层并做好数据同步也格外重要。本教程中，使用了6张ODS表： 记录用于拍卖的商品信息：s_auction。 记录用于正常售卖的商品信息：s_sale。 记录用户具体信息：s_users_extra。 记录新增的商品成交订单信息：s_biz_order_delta。 记录新增的物流订单信息：s_logistics_order_delta。 记录新增的领取订单信息：s_pay_order_delta。 说明 表或字段命名尽量和业务系统保持全都，但是需要通过额外的标识来区分增量和全量表。例如，我们通过_delta来标识该表为增量表。 命名时需要特殊留意冲突处理，例如不同业务系统的表可能是同一个名称。为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col1后缀处理。 ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量规范请参见ODS层设计规范。 建表示例 为便利您使用，集中供应建表语句如下。更多建表信息，请参见表操作。 CREATE TABLE IF NOT EXISTS s_auction( id STRING COMMENT 商品ID, title STRING COMMENT 商品名, gmt_modified STRING COMMENT 商品最终修改日期, price DOUBLE COMMENT 商品成交价格，单位元, starts STRING COMMENT 商品上架时间, minimum_bid DOUBLE COMMENT 拍卖商品起拍价，单位元, duration STRING COMMENT 有效期，销售周期，单位天, incrementnum DOUBLE COMMENT 拍卖价格的增价幅度, city STRING COMMENT 商品所在城市, prov STRING COMMENT 商品所在省份, ends STRING COMMENT 销售结束时间, quantity BIGINT COMMENT 数量, stuff_status BIGINT COMMENT 商品新旧程度 0 全新 1 闲置 2 二手, auction_status BIGINT COMMENT 商品形态 0 正常 1 用户删除 2 下架 3 从未上架, cate_id BIGINT COMMENT 商品类目ID, cate_name STRING COMMENT 商品类目名称, commodity_id BIGINT COMMENT 品类ID, commodity_name STRING COMMENT 品类名称, umid STRING COMMENT 买家umid)COMMENT 商品拍卖ODSPARTITIONED BY (ds STRING COMMENT 格式：YYYYMMDD)LIFECYCLE 400;CREATE TABLE IF NOT EXISTS s_sale( id STRING COMMENT 商品ID, title