金融行业数据仓库应用案例.ppt

5/11/2020 1 数据仓库应用案例 5/11/2020 2 内容提要 （一）自我介绍 （二）案例背景 （三）期望的数据仓库 （四）数据仓库建设实践 5/11/2020 3 5/11/2020 4 案例背景 中国大型商业银行信贷应用与分析系统 ? 系统构建了全行的信贷数据仓库（总行）。 ? 系统建立了全行 450 个信贷数据集市。 ? 基于全国每个地市级分行建立信贷数据分析中心。 ? 数据规模 6T ，数据以 500G/ 年的数据增长。 ? 系统已运行八年。 ? 系统用户 20,000+ 。 ? 系统累计投资 5 亿 + 。 ? 系统采用 ROLAP 模型，采用 BusinessObjects 为 分析工具，采用 Informix 为数据仓库平台，采用 Domino/Notes 为应用平台。 5/11/2020 5 案例背景 信贷系统目前的体系结构 5/11/2020 6 案例背景 一个典型的 ETL 流程 5/11/2020 7 期望的数据仓库 大家期望的数据仓库是什么？ ? 数据仓库项目无法作为形象工程！ ? 数据仓库类型的系统无法在短期内看到效益，无法在短期内 提供有效的回报，数据仓库类型的系统建成后需要一个较长 的时间来使用和积累，才能发挥作用。 ? 数据仓库不是报表系统！ ? 数据仓库是面向主题的面向分析的系统，不是日常的报表系 统，数据仓库在于从业务的角度上发现问题，分析问题，解 决问题。报表系统在于真实的反映日常的运行状况，要求高 效快捷，无须深入分析和挖掘。 ? 数据仓库能干什么！ ? 数据仓库用来分析业务数据的潜在关系，用来指导业务人员 思考和分析，用来发现问题，指导业务的开展和改造。虽然 这些成果都是以报表、图表、图示的方式展现出来，但这些 展现方式都是表层，以这些展现方式来展现数据背后的关系 才是数据仓库的用途。 ? 根据 Bill.Inmon 的定义，“数据仓库是面向主题的、集成的、 稳定的、随时间变化的，主要用于决策支持的数据库系统”。 5/11/2020 8 期望的数据仓库 数据仓库是一个用以更好地支持企业决策 分析处理的、面向主题的、集成的、不可 更新的、随时间不断变化的、分离维护的 数据集合。 -- W.H.Inmon 5/11/2020 9 期望的数据仓库 现实中的数据仓库系统包括哪些部分？ ? 数据采集部分 ? 直接的数据采集、其他系统作为数据源等 ? ETL 数据整合部分 ? 数据汇总、清洗、转换，当然还包括数据传输、数据汇集、 分发、校验、过滤、过程记录等。 ? 采用工具还是自己开发。 ? 重点关注效率问题 ? 数据仓库存储系统部分 ? 大型存储设备、高运算能力的服务器等设备 ? 数据库软件平台 ? 数据仓库与数据集市、集中数据与分布数据 ? 重点关注效率问题 ? 数据仓库展现分析部分 ? 主流分析展现工具。 ? 定制功能的工具开发。 5/11/2020 10 期望的数据仓库 数据仓库项目中的角色 ? 企业最高领导团队 ? 你是否打算建设成为形象工程？ ? 这是你重大决策的原动力、而不是你的秘书。 ? 你是否有足够的耐心和准备，来建设这个长期性的项目。 ? 数据提供部门 ? 如何解决我为别人服务的问题。 ? 如何解决数据仓库项目成为了我的负担。 ? 如何解决数据准确性和时效性。 ? 系统建设部门 ? 如何理解数据仓库项目的建设过程。 ? 如何面对模糊的需求、巨大的数据量、异想天开的要求。 ? 如果不要陷入运行泥潭。 ? 数据使用部门 ? 数据为什么总是有问题 ? 为什么我总是无法应用系统 ? 为什么他什么都做不到 5/11/2020 11 期望的数据仓库 成功的数据仓库：面向过程的开发方法 5/11/2020 12 期望的数据仓库 成功的数据仓库：结构化 元数据管理 数据挖掘 主管信息系统 设计建模 抽取清洗 转换加载 数据仓库 信息展现 业务流程 物理模型 逻辑模型 联机分析处理 报表、即席查询 咨询服务 Intelligent Infrastructure 外部数据 企业信息门户 内部数据 数据库管理工具 数据库 5/11/2020 13 期望的数据仓库 ? 数据仓库 不仅仅是 数据存储加上一个查询工具 ? 数据仓库 不仅仅是 产品 服务 + 产品 ? 数据仓库的成功必须有 正确的 构造方法 为指导 ? 数据仓库的构造包括多方面的问题 基础架构 ( 硬件、数据库、网络 ) 规划设计 数据转移 数据访问 ( REPORT 、 OLAP 、 EIS 、 WEB ) 元数据管理 数据挖掘 系统管理 5/11/2020 14 数据仓库建设实践 主要的建设阶段 ： ? 目标调研、需求分析 ? 确立数据仓库系统的主题目标 ? 分析业务需求，制定需求框架，逐步细化 ? 系统设计和开发 ? 技