数据仓库及商务智能总述.pptVIP

空杯心态 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 与其他系统间的关系 * * 总结:数据仓库项目中的七个禁忌 1.不要编写自己无法快速修改的代码 2. 不要使用无法修改的数据库访问API 3. 不要设计任何无法扩展的东西 4. 不要附加不必要的功能 5. 不要简化数据清除和数据源分析的步骤 6. 不要避免颗粒度和分区问题 7. 不要在没考虑业务问题前就使用OLAP * * 总结:顺利开发数据仓库的七种思路? 1. 再三考虑应用程序的实现方法 2. 少量的用户在使用大量的数据 3. 保持松散 4. 将管理放在首位 5. 从字里行间发现问题 6. 保持领先 7. 发出警告 * * * * * * * * * * * * * * * * * * * * * * * * * * 数据抽取、转换和装载完成如下任务：从源数据抽取数据、进行一定的变换、装载到数据仓库。在上述过程中，需要进行如下数据处理。 l???????? 简单变换：是数据变换最简单的形式，一次只针对一个字段，而不是考虑相关字段的值。主要有数据类型的转换、日期/时间的格式转换、字段解码等。 l???????? 清洁和刷洗：目的是为了保证前后一致地格式化和使用某一字段或相关的字段群。清洁和刷洗是两个可以互换的术语，指的是比简单变换更为复杂的一种变换。在这种变换中，要检查的是字段和字段组中的实际内容而不仅是存储格式。一种检查是检查数据字段值的有效值，它指的是检验一个字段的有效值以保证它落在预期的范围之内，通常是数字范围和日期范围。数据刷洗的另一主要类型是重新格式化某些类型的数据，这种方法适用于可以用许多不同方式存储在不同数据来源中的信息，必须在数据仓库中把这类信息转换成一种统一的表示方式。 l???????? 集成：要把从来源全然不同的数据结合在一起，真正的困难在于将其集成一个紧密结合的数据模型。这些数据来源往往遵守的不是同一套业务规则，在生成新数据时，必须考虑到这一差异。 l???????? 聚集和概括：大多数数据仓库都要用到数据的某种聚集和概括。这通常有助于将某一实例的数目减少到易于驾驭的水平，也有助于预先计算出广泛的概括数字，以使每个查询不必计算它们。概括是指按照一个和几个业务维将相近的数值加在一起，聚集是将不同业务元素加在一起或为一个公共总数，在数据仓库中它们是以相同的方式进行的。 * * * * * * * * * * BI工具的产品结构比较 * * OLAP Server的比较 * * * HP Confidential Subject to Change without Notice 数据仓库 服务器压力 应用 服务器压力 网络环境 压力 由于Cognos可以一次性将Cube发布到远程应用服务器上，可支持用户对应用服务器的局部访问，因此可以大大减缓网络得压力。而BO和Brio得每次客户访问都是从客户端到数据库服务器间得数据直接交换，因此网络压力较大 由于Cognos通过发布Cube发布数据，其在应用服务器上要存储和管理Cube，对应用服务器压力较大。 而BO和Brio等工具在应用服务器上不存放和下载大量数据，对应用的压力相对小。 如果数据仓库系统的前置应用服务器性能不高，则BO和Brio更合适。但对于拥有众多性能良好的应用服务器和分部广泛的用户群体系统，Cognos更显得得天独厚。 由于BO和Brio等是直接存取数据库服务器和数据仓库服务器，对数据库服务器的压力较大，要求数据库有并发查询大批量数据的能力， Cognos是通过发布Cube实现信息的发布，Cube是用户查询的本地数据库，数据库服务器只负责存储及处理数据，没有用户并发查询的压力，所以对数据库服务器的压力较小。 产品性能的比较(1) * * * HP Confidential Subject to Change without Notice 系统 响应速度 数据实时性 后台数据 处理要求 在绝大部分OLAP系统中，各个维度上的汇总分析是必不可少的。当后台采用关系型数据库时，数据库系统对BO和Brio前台发出的汇总请求的处理的效率是相当低的，而且这种汇总处理的量与用户请求直接相关，用户请求越多，汇总处理越多。Cognos的立方体在创建过程当中，汇总是自动合并进行的，这样就极大的减少了关系型数据库中正在进行的汇总表的创建和维护时间以及所需资源。通常情况下，前台使用BO或Brio工具时会要求后台的关系型数据库事先将汇总数据生成好，以减轻用户查询汇总数据时的压力，但同时大大增加了数据库的处理压力及数据量。 同系统响应速度一