第3章+数据仓库模型与建立过程教案分析.ppt

群集 适用于规模不断增长的情况，容易扩展，总线带宽会限制系统扩展性 如果能够很好地定义数据仓库的增长，可以考虑采用这种结构 7 技术路线 7.4 数据仓库的建设过程 共享磁盘 共享磁盘 通用高速总线 处理器 处理器 共享内存 处理器 处理器 共享内存 共享磁盘 MPP 可高度扩展，每个节点的成本较低，失败仅限于节点之内，但是需要严格的数据划分，数据存取受到限制 如果数据仓库大概是400G~500G,可以考虑采用这种结构 7 技术路线 7.4 数据仓库的建设过程 磁盘 处理器 内存 磁盘 处理器 内存 磁盘 处理器 内存 磁盘 处理器 内存 NUMA 把SMP分成更多小的SMP，克服了SMP的内存限制，可扩展性比SMP好，但技术还不够成熟，支持NUMA的软件比较有限 如果需要区分并使用集中的方法运行数据仓库,可以考虑采用这种结构 7 技术路线 7.4 数据仓库的建设过程 处理器 处理器 共享内存 磁盘 处理器 处理器 共享内存 磁盘 计算机平台 硬件和操作系统 服务器硬件方案 数据库管理系统 DBMS选型时要保证所选的数据库管理系统与服务器硬件相匹配，除此之外还要考虑以下因素 查询管理器。预测并取消错误的查询 查询优化器。对用户的查询进行语法分析并优化 查询管理。平衡不同类型查询的执行 装载工具。高性能的数据装载、恢复和重启 元数据管理。一个活跃的数据目录或数据字典 规模的可扩展性。用户数量和数据容量都可扩展 功能扩展能力。能够有多种扩展到OLAP数据库的方式 查询工具应用编程接口。对领先厂商的工具开放 管理功能。支持所有的数据库管理功能 7 技术路线 7.4 数据仓库的建设过程 工具 在数据仓库的开发周期中的不同阶段都会使用到不同的工具，如图所示 7 技术路线 7.4 数据仓库的建设过程 数据仓库管理 中间件及连接部件 抽取 转换 清洗 集成 数据获取 装载 数据 仓库 数据建模 数据存储 信息传递 OLAP 查询和报表 预警系统 数据挖掘 数据仓库应用 OLAP模型设计 思想是先分析问题中可能涉及的所有维度，针对每一个主题确定其需要的维度和度量变量，然后为每一个主题定义OLAP模型 总体维度分析 主题维度分析 确定事实表度量变量和数据粒度 定义OLAP模型，MOLAP模型采用星型，ROLAP采用雪花型 数据挖掘模型设计 根据应用范围，用户最终目标，数据的类型选择数据挖掘方法（统计分析、机器学习、模式识别和人工神经网络等），确定合适的模型，并将其参数校正到最优值。 7 应用分析 7.5 数据仓库的建设过程 数据仓库应用 OLAP模型设计 数据挖掘模型设计 信息传递 用户与数据仓库交互通过6个阶段来实现 根据数据仓库中的数据来定义需求 从数据仓库中选择合适的数据子集 用计算等操作来丰富选中的子集 将行业含义和选择的数据联系起来 将结果构建成适合用户的格式 用各种方法来表示结构化的结果 7 应用分析 7.5 数据仓库的建设过程 数据仓库应用 OLAP模型设计 数据挖掘模型设计 信息传递 用户与数据仓库交互通过6个阶段来实现 用户的分类 旅行者——企业的主管人员/高级经理 操作者——部门经理/生产线管理员 农夫——企业中不同类型的分析员 勘探者——研究员和熟练的技术分析员 矿工——具有特殊目的的分析员 7 应用分析 7.5 数据仓库的建设过程 7 应用分析 7.5 数据仓库的建设过程 数据仓库 勘探者 特别查询 复杂查询 应用系统生成器 旅行者 DSS应用系统 可控制的查询 勘探者 知识发现 （数据挖掘） 操作者 可控制的查询 预格式化的报表 农夫 特别查询 增强的报表 可控制的查询 信息传递框架 数据仓库部署的内容 用户认可 完成所有用户界面及系统性能方面所有项目的最后测试，让用户认可，没有认可前不可强行部署。 初始装载 运行接口程序，将数据装入到数据仓库中。数据管理员要对装载的数据进行数据质量评估，以确保数据的可靠性，同时还要考虑数据的安全问题，对数据进行加密、建立索引等处理。 装载最好从一个主题开始，先进行校验，反馈给设计者，设计者继续进行改进、完善，最后将数据完全载入。 桌面准备 为用户安装桌面客户端工具，让他们能够看到相关的有价值的信息，并进行测试。 初始培训 对用户进行数据仓库相关概念、内容和数据访问工具培训，让他们知道如何使用数据仓库应用，并能够了解数据仓库应用的价值。 7 数据仓库部署 7.5 数据仓库的建设过程 7 数据仓库运行维护 7.6 数据仓库的建设过程 系统维护：是在系统已经交付使用之后为了改正错误和为了满足新的需要而修改系统的过程。 数据仓库中数据的日常管理工作： 清除过时的、不再使用的数据； 定期从源数据中提取数据，刷新数据仓库中的数据； 管理元数据等。