IBM数据仓库解决方案.docx

IBM数据库房解决方案 IBM数据库房解决方案 IBM数据库房解决方案 1.1 技术架构设计 成功地推行一个库房工程， 平常需要很长的时间。 若是可是着眼于短期成就， 缺乏整体考虑，采用一种不健全的系统结构， 不但会增加系统开发和保护本钱， 而且必然对发挥数据库房的作用造成不利的影响。 因此一个综合， 清楚的远景规划及技术推行宏图将在整个工程的推行过程中起到重要作用。 技术架构必定拥有高度先进性和可扩展性， 以满足业务需求的不断变化。 一个完满的数据库房系统包括数据源、数据变换区、数据库房、数据集市、和数据展现层，经过 数据库房不相同层次之间的加工过程， 实现财政从数据财富向信息财富的转变过程。 在不相同层次之间的数据加工过程需要经过 ETL技术实现，并对整个过程进行有效的元数据管理。 基于对需求的理解，基于财政部的信息系统框架模型基础之上的财政决策支持系统 技术架构以以下列图所示： 元数据管理 －交付件、建模工具 源数据 抽取、清理 操作型数据 变换 多维数据 应用 ETL 国地税征收 数据 装 数据集市装 Cube 装 系 估量执行 非税征收 数据库房 数据集市 解析 管理系 接口 税征收 文件区 数据 ROLAP 支出绩效 管理系 文 SSA SOR 关系型 用来准 Cube 解析 /inb 〔 数据 存〕 〔 DW 数据〕 多 立方体 件 人行国 缓 /arc MOLAP 冲 /log 用来准 SOR 数据 构 E 算 区 独立于各数据源 反 数据 Cube 收入统计 多 立方体 制系 /wrk 数据挖掘 果 解析 算管理系 /out EUL (最 用 ) 财富管理 MDR 表 /KPI 存 解析 〔元数据存 〕 ?? 元数据、技 元数据 迭代开发 － 需求改正、功能增加、数据增加 系统管理和保护 － 安全、备份、灾祸恢复 IT基础设施 － 软硬件平台 如上图所表示，经过搭建灵便的、 可扩展技术架构， 在保持数据集市牢固性的同时， 能够不断增加数据源， 增加应用数据层、 增加应用层， 满足不断增加的业务解析应用需 求。 采用 DW+ODS的数据库房系统结构， 使用崭新的 ETL模式对 ODS进度每日数据更新， 按周或月周期对数据库房执行 ETL过程。使用 COGNOSBI 做为前端的盘问解析和数据挖 掘工具，可满足各种平常数据办理操作， 从即时简单报表盘问到多维多级数据解析和挖 掘，都能够在一致 COGNOS BI平台上完成。 1.1.1 数据源和数据接口 数据源指储藏于财政各个业务系统的业务数据，以及将来的财政看守和外面数据。 数据库房系统将整合来自于这些系统的数据， 形成财政一致的、 一致的基础数据集， 并供应给不相同的应用主题形成数据集市。各个系统在系统架构、开发平台、数据定义、接 口标准都会存在不相同程度的差异； 其他由于业务的不断变化， 历史数据与当前数据之间的含义也可能存在不相同， 因此数据整合必定充分考虑源系统在技术和数据方面存在的差异。 数据库房系统将采用文本文件的方式从源系统获取数据。 每个源系统会就与数据库房之间就传输数据接口文件〔 IFF 〕的格式和方法拟定标准，称之为接口标准。 每个数据源会第一经过各自的数据导出程序〔 Extractor 〕生成接口文件储藏在各自的文件缓冲区内。这个 Extractor 负责各自范围内导出数据的齐全性和一致性， 包括： 1〕 依照各自的业务规那么确定增量数据的导出方法 2〕 保证导出文件的格式吻合接口标准的要求 3〕 保证导出文件的传输时间的实时性 4〕 保证接口文件的数据质量，不错数、不丢数、不多数 1.1.2 财政数据库房 财政数据库房 〔EDW〕，储藏和管理来自源数据系统的数据， 依照数据模型分主题进 行组织和存放， 包括当期的和较长时间的历史数据。 数据库房的核心是企业级数据模型 的规划和设计，是全部应用的基础。接下来我们分别对 EDW每个数据地域做详细介绍。 1〕 接口文件区 接口文件区是储藏和办理接口文件的地域，如前面章节所述，接口文件区在系统下依照特定的目录结构组织起来。用一些系统命令和工具来管理。对每个目录依照其特定的用途设定对不相同用户的接见权限，比方谁能读，谁能写，谁能改等。 2〕 细节数据暂存区 SSA〔SOR Staging Area 〕 SSA的主要目的是支持把接口文件的装载到数据库，对其进行考据和办理，然 后把数据整合到 SOR内。考据的方法主若是将新转载的数据与 SOR内已有的数据进行查找和比较。 SSA内数据结构的设计原那么是最大限度的利用接口文件的 数据结构，尽量降低实体的个数，同时很好的支持后续的 ETL过程。 3〕 细节数据 SOR〔System Of Record 〕