成功地管理数据仓库的实施.ppt

提问? 谢谢！ 提问和讨论? DW12 成功地管理数据仓库实施 廖钢城 Sybase中国BI技术经理 Email：liaog@ * * 进行详细的数据分析 确定必需的数据更新频度 需要多长时间刷新一次数据? 如何更新数据? 自动化的过程 复制 ETL工具 定制的代码和/或手工的脚本 详细的实施步骤 进行详细的数据分析 数据分析应获得以下结果 数据字典, 包含 遗留（Legacy)的数据定义及其分布位置 新的数据仓库的数据定义 数据规模，类型，单位，例外，等等。 这还不是数据模型，此时你还没有足够的信息来建立系统的模型。 详细的实施步骤 进行详细的数据分析 数据分析应获得以下结果 接口文档, 包含: 将数据从现有系统迁移到数据仓库的ETL过程 转换 规则/标准 刷新/实时性需求和详细规格说明 详细的实施步骤 下一步? 系统需求分析和数据分析是详细系统设计的基础 记住: 基础不好，设计也不会好且非常局限 稳固的基础将为设计奠定一个坚实、可扩的基础 详细的实施步骤 详细系统设计 再次强调，这项工作乃至所有的工作都应该立足于已整理完成的用户需求。 让我们看一下在进行详细的系统设计时考虑的一些具体的工作项目。 详细的实施步骤 详细的系统设计 设计首要考虑的是满足用户的需求 数据和数据类型必须通过“数据分析”得到 数据字典 接口文档 详细的实施步骤 详细的系统设计 必需由专业的数据建模人员设计“模式-Schema” 是复制/修改现有的设计吗？? 还需要一个新的设计? 你需要什么类型的模式? Star Relational Flat 详细的实施步骤 详细的系统设计 在设计数据模型时, 考虑以下两者之间可能的折中方案 : 使用户报表获得最高性能 使即席Ad-HOC查询获得最大灵活性 在进行用户界面设计时，考虑: 开发所有报表的原形或样板 构建/虚拟用户界面 邀请用户复审和评判 详细的实施步骤 详细的系统设计 特别注意数据抽取，转换和装载过程的设计 这是很多项目失败的原因 你准备怎样迁移数据 迁移数据的频度如何 如何更新 完整、全面地记录这些文档。以后的系统维护人员会感谢你的。 详细的实施步骤 详细的系统设计 最后，也许是最重要的: 你的设计/硬件/软件必须实现系统需求，并确保足够的性能。 如果性能很差，即使产生了所需要的报表，用户一样会抛弃的。 不要让范围不断扩大– 维持最初的需求 详细的实施步骤 详细的系统设计 此时才是最终确定选择的最佳时机: 存放数据仓库的硬件 Unix, NT? 硬件平台厂商 （是否有选择余地） 磁盘阵列支持 (快速的、共享的磁盘阵列) 详细的实施步骤 详细的系统设计 选择 实施数据仓库的软件 ETL 工具 Data Modeling 工具 数据库 通用的数据库- Sybase ASE等 专门的数据仓库数据库 Sybase IQ 详细的实施步骤 详细的系统设计 选择 Query 工具 / 报表生成工具 定制开发? 商业软件包? 详细的实施步骤 详细的系统设计 选择 记住在订购设备和软件时考虑交货时间 不要忘记安装时间 不要忘记安装过程中可能会碰到一些小故障，也会影响到你的时间进度。 详细的实施步骤 详细系统设计的结果 设计工作应该获得以下成果 硬件规格说明 软件规格说明 详细的数据模型 最新的详细的数据字典 源系统的数据规格说明 新数据仓库的数据规格说明 详细的实施步骤 详细系统设计的结果 设计成果 最新的接口文档 包含详细的 ETL 设计/定义 用户界面规格说明 固定报表的设计 Ad-Hoc即席查询界面设计 详细的实施步骤 详细系统设计的复审 此时，你应该做一下详细设计的复审 正式复审: 数据库的设计 接口的设计 ETL 模板/ 定制代码和脚本 报表示例 (邀请用户参与) 详细的实施步骤 记住!!!! Not RDBMS engine Not front-end tool Not data extract tool Not data loading utilities Not more processors Not the business vision Not technical ingenuity Not even consultants…. 如果物理设计没有做好，没有什么可以弥补的: 现在可以开始实施了 你应该有几个实施组 数据获取 / ETL 组 数据库 / 模型实施组 用户界面 / 查询开发组 详细的实施步骤 实施 在界面开发时要求用户参与 尤其是开发屏幕、报表和/或原型 能够更快地获得用户的反馈、实施/修正 详细的实施步骤 实施 在实施过程中, 尽可能多地做增量/单元测试 尽早地发现问题