第七讲数据仓库2.pptVIP

第七讲 数据仓库(Data Warehouse)(二) 1.1 系统设计的差异 1.2 SDLC与CLDS SDLC——操作型环境中，业务过程和规则比较规范和固定。系统设计人员能够清晰地了解应用的需求和数据流程，系统的设计一般采取系统生命周期法 (Systems Development Life Cycle) 。 CLDS——分析型环境中，DSS分析对决策分析的需求不能预先作出规范说明，只能给设计人员一个抽象模糊的描述。设计人员必须在与用户不断的交流中，将系统需求逐步明确与完善。为了强调这种开发的不确定型，将此设计方法定名为CLDS方法（与SDLC相反）。 1.3 “数据驱动”的系统设计思路 识别出当前系统设计与已做工作的共同性； ——出发点 从已有数据库系统出发，按照分析领域对数据及数据之间的联系重新考察，组织数据仓库中的主题； 利用数据模型有效识别原有数据库中的数据和数据仓库中主题的数据的共同性。 ——中心 数据驱动系统设计方法的中心——数据模型 2 数据仓库设计的三级数据模型 概念模型现实世界到机器世界的中间层次——信息世界E-R法(实体-联系法) 逻辑模型关系模型 物理模型逻辑模型在数据仓库中的实现。物理存取方式、数据存储结构、数据存放位置以及存储分配等。 3 提高数据仓库的性能 粒度划分——细节级、轻度综合级、高度综合级 数据分割——分割的标准：时间、业务领域、地理分布 物理设计中的其他问题—表合并—引入冗余—建立广义索引—建立数据序列—表的物理分割—生成导出数据 粒度划分 粒度划分的决定性因素是表的总行数 数据存取是通过存取索引来实现的，索引是对应表的行来组织的。因此与表的数据量无关。 估算数据仓库中数据的行数对每一已知表 统计一年内数据行数的最大行数和最小行数； 统计五年内数据行数的最大行数和最小行数。 根据估算出的数据行，决定是否要划分粒度 表合并 引入冗余 处理最值问题的方法——广义索引。这个月销售最差的十种商品是什么？ 从操作型数据库抽取数据并装载到数据仓库的同时，根据用户需要建立广义索引。 数据序列 表的物理分割 “数据分割”——表的逻辑分割。将一个表按一定的分割标准分成两个或多个表。 表的物理分割依据数据的存取频率和数据的稳定性来进行；将一张表按照各属性被存取的频率分成两个或多个表。 4 数据仓库设计步骤 数据驱动的系统设计方法 设计步骤 —概念模型设计 —技术准备工作 —逻辑模型设计 —物理模型设计 —数据仓库生成 —数据仓库运行与维护 实例：商店的数据仓库设计 数据仓库设计步骤 IBM IBMVisual Warehouse(VW)Essbase/DB2 OLAP Server 5.0及管理器IBM DB2 UDBHyperion Wired for OLAP/Business Objects InformixInformix Formation和Informix DataStageInformix Red Brick Warehouse数据库Informix MetaCube OlAP服务器Informix MetaCube Exploer/Web Explorer Oracal Oracal8i关系型数据库引擎 Oracle Warehouse BuilderingETL工具 Express多维数据库引擎 Discover关系OLAP查询工具 Oracle数据挖掘套件 其他厂商 Microsoft——SQL ServerPlato和Data Transformation Services Sybase SAS NCR 4.1.1 界定系统边界——需求分析 要做的决策类型由哪些？ 决策者感兴趣的是什么问题？  这些问题需要些什么样的信息？ 要得到这些信息需要包含原有数据库系统的哪些部分的数据？ 4.1.2 确定主题域 确定系统所包含的主题域 描述每个主题域的内容—主题域之间的关系—主题域的公共码键—充分代表主题的属性组 4.2.1 技术评估： 确定数据仓库的各项性能指标—管理大数据量数据的能力—进行灵活数据存取的能力—根据数据模型重组数据的能力—透明的数据发送和接受能力—周期性成批装载数据的能力—可设定完成时间的作业管理能力 4.2.2 技术环境准备 考虑相关的问题：—预期在数据仓库上分析处理的数据量有多大？—如何减少或减轻竞争性存取程序的冲突？—数据仓库的数据量有多大？—进出数据仓库的数据通信量有多大？ …… 确定软硬件配