DM组数据仓库设计总结.docxVIP

? ? 2014年总结之dm组数据仓库设计总结 ? ? 来搜狐移动视频dm组已经快一年半了，今天是2014年12月31号，是2014的最后一天，想想写点东西。写点什么尼，咱们就简说说数据仓库dm组设计的一些实践把。 我这里也感谢我得领导给我的机会和舞台。ok，进入正题。简单聊聊数据仓库设计在我们这边的思考方式，存在不足，还望见谅。 ? ? ? 数据仓库之前的文章也说过已经从支持战略决策到支持战略决策和战术决策。对应战术是基本是现在企业对应数据价值的最大的挖掘，战术可以是局部数据的战术和全局数据的战术。 ok,说到这里我们建设数据仓库的目的也就明确了，简单来说就是支持数据挖掘+数据统计。数据挖掘我们是指对细粒度的数据的价值的提取，数据统计是将数据从细粒度数据变成粗粒度的数据，好让咱们分析师、老板、运营、产品等人直接从数据快速的进行分析和总结。 数据从细粒度到粗粒度的变化其价值也是在不断的减小。 ? ? ?数据仓库数据分为离线和在线实时数据。这两部分的数据仓库是分开单独建立的。 ?1、离线数据仓库是进行了数据的分层建模，数据是从细粒度---》粗粒度转变，更加便于信息价值提取，但是总体数据价值在减少。目前我们采用的方案是数据资源池+关系型数据仓库的设计进行解决的。即hadoop+hive+greenplum+mysql解决方案。 ?? ? ? ? ? ?? ? ? ? ? 2、实