第二部分之一.pptVIP

第2章数据仓库设计与开发 第二部分：第2章 数据仓库设计与开发 数据仓库的开发过程及特点 创建数据仓库的基本步骤 /p-62920762899.html /p-31780831673.html 数据仓库的构建 教学要求 ?引例：沃尔玛的数据仓库 沃尔玛利用NCR的Teradata可对7.5TB的数据进行存储，这些数据主要包括各个商店前端设备(POS、扫描仪)采集来的原始销售数据和各个商店的库存数。 Teradata数据库里存有196亿条记录，每天要处理并更新2亿条记录，要对来自6000多个用户的4.8万条查询语句进行处理。 销售数据、库存数据每天夜间从3000多个商店自动采集过来，并通过卫星线路传到总部的数据仓库里。 沃尔玛数据仓库里最大的一张表格(Table)容量已超过300GB、存有50亿条记录，可容纳65个星期3000多个商店的销售数据，而每个商店有5万到8万个商品品种。 利用数据仓库技术，沃尔玛对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。 小常识 存储容量：是该存储设备上可以存储数据的最大数量，通常使用千字节（kb kilobyte）、兆字节（MB megabyte）、吉字节（GB, gigabyte）、太字节（TB ，terabyte）和PB(Petabyte)、EB(Exabyte)等来衡量。1KB=2(10)B=1024B； 括号中的数字为2的指数(即多少次方)1MB=2(10)KB=1024KB=2(20)B；1GB=2(10)MB=1024MB=2(30)B。1TB=2(10) GB=1024GB=2(40)B1PB=2(10) TB=1024TB=2(50)B1EB=2(10) PB=1024PB=2(60)B1Byte(相當於一個英文字母，您的名字相當6Bytes(6B)。Kilobyte(KB)=1024B相當於一則短篇故事的內容。Megabyte(MB)=l024KB相當於一則短篇小說的文字內容。Gigabyte(GB)=1024MB相當於貝多芬第五樂章交響曲的樂譜內容。Terabyte(TB)=1024GB相當於一家大型醫院中所有的X光圖片資訊量。Petabyte(PB)=l024TB相當於50%的全美學術研究圖書館藏書資訊內容。Exabyte (EB)=1024PB；5EB相當於至今全世界人類所講過的話語。Zettabyte(ZB)=1024EB如同全世界海灘上的沙子數量總和。Yottabyte(YB)=1024ZB相當於7000位人類體內的微細胞總和。  思考： 请你估计一下沃尔玛的数据仓库中一年的数据量有多大？说明原因 提交邮箱：tongpeng092267@ 截止日期：2011年3月26日 数据仓库的开发过程及特点 按照生命周期发法可将数据仓库开发的全部过程分成三个阶段。 (1) 数据仓库规划分析阶段。 (2) 数据仓库设计实施阶段。 (3) 数据仓库的使用维护阶段。 这三个阶段不是简单的循环往复，而是不断完善提高的过程。 一般情况下，数据仓库系统都不可能在一个循环过程中完成，而是经过多次循环开发，每次循环都会给系统增加新的功能，这种循环的工作永远不会终结，数据仓库也就一直处于一个不断完善、不断提高的循环过程中。 数据仓库开发的生命周期 DW开发的特点 1．数据仓库的开发是从数据出发的(clds) 创建DW是在原有的数据库系统中的数据基础上进行的，我们称之为“数据驱动”。 数据驱动设计方法的中心是利用数据模型有效的识别原有的数据库中的数据 2．DW使用的需求不能在开发初期完全明确 在数据仓库环境中，并不存在固定的且较确切的物流、数据流、和信息流， 数据分析处理的需求更加灵活，更没有固定的模式， 甚至用户自己也对所要进行的分析处理不能事先全部确定 3．数据仓库的开发是一个不断循环的过程，是启发式的开发 DW的开发是一个动态反馈和循环的过程，一方面DW的数据内容、结构、力度、分割以及其他物理设计应该根据用户所返回的信息不断的调整和完善，以提高系统的效率和性能；另一方面，通过不断理解用户的分析需求，不断的调整和完善，以求向用户提供更准确、更有效的决策信息。 思考 数据仓库的开发过程与数据库的开发过程有什么不同？为什么？ 出发点不同：数据仓库的开发是以主题展开的，根据主题的分析目标集成所有相关的数据信息，集成的数据量越大越全面，决策分析的结论就越客观越准确。数据仓库的建设是螺旋式的开发过程，随时间的推移，可以适应不同的主题需求。 而数据库的开发时以应用展开的。 处理过程不同：数据仓库中，数据分析处理的需求更加灵活，更没有固定的模式。而数据库中的数据分析处理的需求确定。 开发方法不同： 概念模型设计 用E-R图表