基于COOKIE的点击流数据仓库构建思路(一).docxVIP

网站数据是企业数据的重要组成部分，在大型企业中，数据通常以关系型数据仓库进行存储。当然，部分企业也在向基于Hadoop等开源框架的分布式非关系型数据仓库结构转变，但这仍只是少数。大部分公司仍然是关系型数据仓库（RDB）居于主流。接下来的三篇文章会介绍三种基于Cookie的点击流数据仓库构建思路。本篇是第一篇，基于Adobe Sitecatalyst底层数据的数据仓库作为原型。在用该工具的人都知道，在Marketing Cloud中有个DataWarehouse的工具，该工具的作用类似于Excel中的数据透视表，可以选择任意的纬度、量度，配合数据粒度、区段等进行数据输出。但实际上，这个工具还只是表层，底层有一套完整的数据仓库系统支持。在介绍底层系统之前，我先假设这套工具的数据仓库就是/tag/datafeedDataFeed中的数据结构。（实际上我问过Adobe的研发和服务商，他们并不清楚Omniture上层的数据仓库结构，或许没有，不过这并不妨碍我们对本文的理解）我们先看下/tag/datafeedDataFeed数据结构，由三部分组成：格式化后的原始数据。数据是在日志基础上，经过/tag/omnitureOmniture元数据和清洗规则的控制后生成的数据，里面包括一张（或几张）压缩后BigTable。这些BigTable是数据仓库底层的事实表，里面包含了Adobe Sitecat