数据仓库的数据模型、数据组织、数据仓库设计.pptVIP

* 设计步骤 – 逻辑设计（中层设计） 中层设计：建立数据仓库的逻辑模型，对前期收集的信息的细化，将信息包图转换成星型图模型。 主要工作： 定义指标实体。将信息包图中的内容放到星形图中，每个信息包图代表一个完整的星和信息包。维度实体在指标实体中表示。 定义维度实体。信息包图中的每一个维度实体位于星形图的星角上，它以维度表的形式存在。随着维度实体在星形图上的定位，进一步定义它与指标实体间的关系。 定义详细类别实体。在一个简单的星形图模型中，指标实体被用于访问的维度实体包围。但是在有的决策分析中仅仅知道指标值是不够的，需要定义详细类别实体，将星型图模型转换为雪花图模型。 设计成果： 适当的粒度划分、合理的数据分割策略、适当的表划分、定义适当的数据源 * 低层设计：建立数据仓库的物理模型，确定数据仓库的存储结构、数据的存储位置和索引策略。 设计人员需要了解和考虑的问题： 所选用的数据库系统，特别是存储结构和存取方法； 数据环境、数据的使用频率、使用方式以及响应时间； 存储设备的特性等。 主要工作： 确定数据的存储结构。不同的存储结构有不同的实现方式，应综合考虑存取时间、存取空间利用率和维护代价等因素，根据各种存储结构的优缺点和适用范围选择合适的存储结构。 确定数据的存储位置。对数据按照其重要程度、使用频率和对响应时间的要求等进行分类，并将不同类别的数据存储在不同的存储设备中。设置存储分配参数，对块的大小、缓冲区的大小和个数等进行物理优化处理。 确定索引策略。通过对数据存取路径的分析，为各个数据存储建立专用的索引，以获得存取的高效率。 设计步骤 –物理设计（低层设计） * 设计步骤 – 数据仓库生成 设计接口 从面向应用和操作的环境生成完整的数据 基于时间的数据转换 数据的聚合 对记录系统进行扫描，以便追加数据 数据装入 确定数据装入的顺序 过滤无效或错误数据 数据老化 数据刷新 * 接口设计 数据仓库中的数据是从数据库系统中提取出来的，所以在需要在数据库系统和数据仓库之间建立一个接口。建立这种接口，并不是简单的编制一个提取程序。由于数据库中的数据与数据仓库中的数据有很大区别，所以在设计接口时，除了提取外还要完成数据的净化、集成等。 接口应包括转换器、监控器和集成器等，以完成对数据的提取、净化和集成。 * 数据提取 数据的提取是数据仓库成功的关键。 在提取过程中，为了支持实际应用中的趋势分析，它还必须对数据基于时间进行转换。在大多数情况下，把数据库系统中的数据变化提取出来是通过访问数据库日志进行的。 * 数据装入 数据装入：即运行数据仓库的接口程序，将数据装入数据仓库中。 主要工作： 按顺序装入数据。最初只装入一部分数据来生成第一个主题域，这样能使设计人员轻易而迅速的对所做的工作进行调整，然后再依次装入全部数据。 检查数据的有用性。数据仓库的设计过程是一个反馈、循环的过程，原先对决策分析起作用的数据随着时间的推移越来越陈旧无法再支持决策分析，通过与用户的交流，反复进行用户需求分析，从而确定用户真正需要的数据，清除老化、无效和错误数据，不断的适应用户的需求。 * 构建数据仓库的最终目的是为了使用，如果数据仓库中存放了大量的数据而没有开发相应的应用程序，数据仓库就失去了其存在的价值。 数据仓库的目的是用于决策分析而不是事务管理。决策分析应用可分为两种类型：例行分析处理和启发式分析处理。 例行分析处理是指一些要求比较明确、需要重复进行的分析处理，通常属于部门级的应用，如部门的销售分析、财务分析、报表分析等。 启发式分析是指随机性较大的、即时进行的分析处理，通常属于企业高层决策者级的应用，这种决策分析并没有固定的模式，决策者受到某种信息的启发而进行一些随机的决策分析。 设计步骤 – 数据仓库的使用与维护 * 对于例行分析处理，由于其分析模式固定，因此可以使用查询/报表工具、固定模式的验证工具或OLAP工具来实现。 对于启发式分析处理则需要在验证工具、OLAP工具和数据挖掘工具中为用户提供一个灵活的、功能强大的交互式界面，使决策者能够方便地利用这些工具循环渐进地进行决策分析，最终获得分析结果。 设计步骤 – 数据仓库的使用与维护(Cont.) * 数据仓库的维护 系统维护：是在系统已经交付使用之后为了改正错误和为了满足新的需要而修改系统的过程。 数据仓库中数据的日常管理工作 清除过时的、不再使用的数据； 定期从源数据中提取数据，刷新数据仓库中的数据； 管理元数据等。 * 数据仓库的维护(Cont.) 数据仓库系统的完善工作 改正性维护：在数据仓库设计与开发过程中，虽然已经进行了严格的测试，但对于一个大型的系统可能还潜藏着一些错误，改正性维护就是为了发现和改正这些错误而进行的过程。 适应性维护：数据仓库的构建是基于当时的技术条件的，由于