始建设数据仓库-IBM-UNIX-WORD.pptVIP

开始建设数据仓库 混沌时期 项目组成员没有数据仓库开发的实际工作经验 结果会怎样？ 会遇到什么困难？ 从何处着手？ 如何说服领导重视数据仓库的建设？ 数据源的稳定性和质量如何？ 项目开始了 学习曲线 具备实际工作经验 新技术和调整工作习惯 基础结构的建立 技术基础结构和非技术基础结构 标准的建立 用户优先级 数据命名（包括同义词和别名） 缩写词词典 元数据的获取和使用 衡量数据质量的标准 服务标准协定 数据的组织结构 理想的数据仓库开发生命周期 快速建立和不断扩充的数据仓库 系统开发的控制方法 快速原型法 平行发展步骤 数据的抽取、分类、归并、清洗、和转化（ETL） 元数据管理 前台数据展示 从逻辑模型确定到物理模型的实现 银行业的数据逻辑模型 结合每个银行实际的数据情况设计物理模型 数据处理路径和检查点 项目人员组织结构 主要角色职责说明（一） 主办人 明确数据仓库的目标 这个目标符合数据仓库设计的特点 用户联络人和用户 明确的用户需求的提出 业务分析员 熟悉银行业务和系统情况 数据管理员 维护数据的正确性 及时修改、弥补过程中的错误 开发人员 完成数据仓库环境的建立 完成基于数据仓库的应用开发 数据库管理员 维护数据库的稳定、正常、高效运行 主要角色职责说明（二） 项目管理员 控制项目进程 协调解决遇到的问题 数据质量分析员 提出数据质量评估报告 说明数据如何使用、会遇到什么问题、影响程度 查询工具管理员 帮助用户使用查询工具 数据审计员 提出数据审计的方法 顾问和专家 对项目实施提供建议 作为项目组的技术后盾 数据仓库技术（一） 1、管理大量数据 灵活的寻址能力、索引、溢出数据管理、等等 2、管理多种介质 磁盘、磁带和光盘 3、索引/监控数据 支持灵活的不可预测的数据访问 监控数据仓库状态 4、多种技术的接口 跨关系数据库 跨操作系统 码制转换 5、程序员/设计者对数据存放位置的控制 在物理的页/块级别上决定数据物理存放位置 数据仓库技术（二） 6、数据的并行存储/管理 7、元数据管理 数据仓库的表结构 数据仓库的表属性 数据仓库的源数据 操作型数据在仓库中的映射 数据模型的说明 抽取日志 访问数据的映射 数据的定义和描述 数据单元之间的关系 8、语言接口 数据仓库技术（三） 9、数据的有效装载 10、有效利用索引 11、数据压缩 12、加锁管理 13、快速恢复 14、刷新数据仓库 数据复制 变化数据捕获（CDC） 15、数据仓库的测试 结束语 数据仓库的建设 按照一个项目开展的过程实例 谈数据仓库的建设 主题 分析应用 指标数据 基础数据 DW DM OLAP或报表 自底向上 自顶向下 针对中国银行业现状，两种方法的结合才能适合系统的开发 规划与 确定需求 开发 概念模型 开发 逻辑模型 设计 体系结构 数据库与 元数据设计 确定数据 抽取源 开发 中间件 填充与测试 数据仓库 数据仓库 应用 数据仓库 维护 数据仓库 评价 规划分析阶段 使用维护阶段 设计实施阶段 数据仓库开发过程 规划与 确定需求 提供 概念模型 提供 逻辑模型 设计 体系结构 数据库与 元数据设计 确定数据 抽取源 开发 中间件 填充与测试 数据仓库 数据仓库 应用 数据仓库 维护 数据仓库 评价 开始 高伟达公司会提供相关内容，结合实际情况做出调整 不断扩充数据仓库的内容和应用 O 类 表 M 类 表 F 类 表 指 标 表 汇 总 表 汇 总 表 报 表 Olap工具或报表工具 报 表 工 具 装载记录数检查 总分核对 关键字段检查 总分核对 关键字段检查 模型正确性 测试 正确性 测试 银行数据基本逻辑模型 客户联系资料 地理区域，物理的或电子的地址. 客户基本资料 个人或团体机构 事件 一种资金或非资金的活 动，可能需要也可能不 需要银行与客户的直接 接触 内部组织 金融机构的 分支机构及业务单元 帐户 金融机构和客户之间为某种产品或金融服务而设置的一种约定 产品 任何市场化的产品 或服务，包括这些 产品的条款和条件 行销活动 为增加客户、保留客户 、拓展业务而进行的策 略、规划或促销事件 渠道 银行同客户交互 或接触的各种渠道 客户财务资料 当事人拥有的资产 财务(Finance) 内部财务状况 核心 外围 业务分析员 数据仓库设计者 数据质量分析员 用户 用户联络人 主任开发员 数据管理员 数据库管理员 项目管理者 开发人员 技术咨询 委员会 业务咨询 委员会 工具管理员 执行主办人 技术服务 审计员 用户支持 其他利益相关者 网络管理员 战略制定者 安全员 让我们开始吧！ 快速原型法： 快速，一周一个项目过程； 不是在不明需求的情况开发，而是意味着利用已知的可行的全部细节来完成任务； 并期待着重新做这项工作