数据库设计模式变迁---高峡2资料.pptx

8. 列式数据库 50 行式 VS 列式 51 Sybase IQ ? Sybase IQ 排名列式数据库第一 ? IQ通过列存储、革命性的位图索引方法以 及智能的动态访问技术实现了快速的查询 响应速度，比传统的数据库查询速度提高 10-1000倍 ? 减少磁盘I/O IQ通过独特的列存储，索引 与压缩技术，大大减少了查询中的磁盘 I/O次数，其杰出的磁盘I/O效果带来了更 快速的查询反应，更高的吞吐量和更低的 成本。 ? 被SAP以58亿美元收购 52 案例：Panel ? 精准营销 ? Customer Segmentation 客户分群 ? 微博为什么不盈利？ – 缺乏结构化的人群标签数据 – 无法做精准营销 我知道我的广告浪费了一半， 但我不知道浪费了哪一半。 盈利模式 ? 市场调研 – 微软 – 沃尔玛 – 谷歌 – Motorola ? 300万的一个Panel到底应该值多少钱？ 54 场景 ? ? ? ? 300万行的客户数据 几千个客户属性 需要根据任何客户属性的组合进行查询 行式数据库的局限： – 索引的限制（256） 55 解决方案 ? 从行式数据库转化为列式数据库 ? 查询时间提高50倍 ? 压缩率高达1:30 56 9. 数据仓库 ? 定义： – 数据仓库 ，由数据仓库之父比尔· 恩门（Bill Inmon）于1990年 提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP) 经年累月所累积的大量资料，透过数据仓库理论所特有的资料储 存架构，作一有系统的分析整理，以利各种分析方法如联机分析 处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支 持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效 的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回 应外在环境变动，帮助建构商业智能(BI)。 ? 特征： – – – – 面向主题 集成 时变 不可更新 57 Query Pattern ? ? ? ? ? 并发 粒度 面向主题 集成 不易失 58 Star Schema 59 核心 ? Schema – 星型 Star Schema – 瀑布 Snowflake Schema ? 事实表 （ Fact Tables ） ? 维度表 （ Dimensions ） 60 案例：BOA 美洲银行的数据仓库 ? 美洲银行就是使用NCR Teradata建立数据仓库并获得成功 应用的一个例子。该银行在几年的时间内曾先后兼并过十 几家小银行，由于拥有的30多个OLTP业务系统太多而且分 散，管理十分不容易，要找到准确的业务数据也很难。举 例来说，它要准确地了解各个分行的客户资料就要花很多 的时间，最后的结果还不一定完全准确。为此，美洲银行 投资Teradata建立了一个中央的数据仓库，把各个分行系 统中的数据都集中到中央库来，一些以前要几个星期才能 得到答案的业务问题现在只需要几分钟甚至更少，效果非 常明显。 61 业务架构 62 效果 ? 例如，业务人员可以在分析银行的客户群中了解哪些类型或具有什么 特征的客户最有可能购买哪一种产品或服务。美洲银行是1986年开始 投资Teradata建立数据仓库的，采用循序渐进的方式实施数据仓库， 刚开始时的数据库容量为20GB，后来逐步扩展成3.4TB的庞大系统。 ? 在美洲银行的数据仓库中目前存有280亿份抵押贷款的资料。这套系 统在1994年1月17日发生的洛杉矶大地震中充分显示了其价值。银行 的住宅租赁部在几分钟内就确定了其损失。当时加州分行的副总裁 Charles Griffin先生事后这样描述道：“我们可以根据邮政编码进到每 个区，看看在遭受地震破坏的区域有多少以及有哪些类型的房产贷 款。”根据这些信息，银行可以迅速作出反应，拿出相应的对策来。 ? 统一的客户视图，便于企业做客户的精准营销 63 10. 多维数据库OLAP ? ? 联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提 出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务 处理 (OLTP)明显区分开来。 Codd提出OLAP的12条准则来描述OLAP系统： – – – – – – – – – – – – – – 联机分析处理 联机分析处理 准则1 OLAP模型必须提供多维概念视图 准则2 透明性准则 准则3 存取能力准则 准则4 稳定的报表能力 准则5 客户/服务器体系结构 准则6 维的等同性准则 准则7 动态的稀疏矩阵处理准