IBM电力数据仓库解决方案.PDF

IBM 电力数据仓库解决方案 方案概述 数据仓库体系结构 一个传统典型的数据仓库系统的体系架构可以用下图加以描述： 传统典型数据仓库体系结构 从上图可以看出，作为一个数据仓库系统，从数据源（一般为业务系统或其它外购数据） 到最终展现给最终用户，中间需要经过一系列过程：  抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积，简 单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓 库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。  转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策 的，必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往 与业务系统中的数据结构是有非常大差异的。  建立海量、高效的企业级数据仓库。这个数据仓库必须能够在海量数据基础上 服务于大量并发用户，并且无论是数据处理速度还是查询速度都应该满足一定 的速度要求。依靠数据仓库应该能够完成设计范围内的一切分析。  针对特定的分析主题，建立专门的数据集市。仅仅依靠数据仓库进行分析，其 速度往往不足够快。为了使某些常用分析的速度足够快，有必要为这些分析问 题分别单独进行进一步的数据重组和优化，即建立数据集市以加快分析速度。  针对特定业务问题，使用特殊的数理统计算法进行数据挖掘。数据挖掘技术以 建立在概率论和数理统计基础之上。特定的数据挖掘算法需要特定格式的数据 输入，这种特定的格式往往不是数据仓库中直接具有的，需要大量的数据加工 准备过程。模型挖掘、模型验证等过程也是一个需要反复进行的过程。另外， 挖掘的结果--模型，必须作用到样本上--在样本上打分--才能真正发挥作用。  元数据管理--整个数据仓库的所有描述性信息、管理信息、调度信息等都是数 据仓库的元数据。一个数据仓库要想得到很好的持续性建设和被很好地使用， 元数据管理是必不可少的。  前端展现应用--最终用户的界面，这个界面必须简单易用且功能强大，必须具 有良好的权限控制；两外，前端展现应用必须维护简单。 IBM 数据仓库解决方案的体系结构 IBM 数据仓库的体系结构在上一节中描述的各个方面都具有卓越的表现。 核心技术 核心技术 IBM 数据仓库/商业智能解决方案是一个完整的端到端的解决方案，其核心技术包括： 1.IBM DB2 UDB作为海量数据仓库引擎 高扩展性 在单UNIX 主机CPU 扩展方面，TPC-C （OLTP）和TPC-H （Ad-Hoc Query），显示了DB2 在扩展性方面的能力。 在集群技术方面，采用Share Nothing 的MPP 体系结构，每个节点独享各自的硬盘空间， 各个节点间通过网络交换数据。可伸缩性强，最多可以扩充到2000 个节点。国外有512 节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球范围有许 多TB 级的数据仓库。 高性能 DB2 的基于成本优化技术已经有27 年历史，积累了大量独有专利技术。针对任意的查询， DB2 独特的查询重写功能将所有SQL 语句改写成为语义上完全相同，但是可以使用优化 器所有优化功能的语句，优化器再自动选择最优的查询路径完成查询。此功能特别适用 于以图形化界面生成的数据仓库应用。针对OLAP 应用做了相当多的优化。强大的基于 成本的优化，独特的星型连接算法、动态位图索引、OLAP 算子等。 高可靠性 支持Cluster、Standby 等双机热备份、联机快速备份、快速加载数据和快速备份数据 恢复。提供双日志功能，具有表空间级的备份和恢复功能，可以从整个数据库备份集中 选择需要的单元进行恢复。提供在线重组织表，在线重组织索引，在线配置主要参数的 能力，在线创建、删除和修改缓冲池的能力。 易管理性 IBM DB2 是一个SMART 的数据库，即自我管理及资源调度的智能数据库系统。DB2 由数 据库系统自己进行错误分析、可能的解决方案建议及自我修复的功能，提供部分核心配 置参数进行自动配置，而不需数据库管理员进行指定和修改。 2. 信息集成平台 DB2 Information Integrator IBM 特有的企业信息集成平台，通过联邦数据库，复制等技术实现企业内各种信息资源 的透明访问和数据同步，真正意义上实现企业信息的集