利用分区执行高速数据加载与滚动窗口操作.pdf

利用分区执行高速数据加载和滚动窗口操作 目的 在本教程中，您将了解如何使用 Oracle 数据库进行高速数据加载以及如何利用 Oracle 分 区进行滚动窗口操作。 所需时间 大约 2 个小时 主题 本教程包括下列主题： 概述 情景 前提条件 为销售历史模式实施模式更改 使用外部表加载数据 使用 SQL*Loader 与使用外部表进行加载和转换过程的比较 利用表压缩节省磁盘空间并降低 TCO 使用 Oracle 分区执行滚动窗口操作 总结 查看屏幕截图 将鼠标置于此图标上以加载和查看本教程的所有屏幕截图。（警告：因为此操作会同时 加载所有屏幕截图，所以网速较慢时，响应时间可能会比较长。） 注：此外，您还可以在下列步骤中将鼠标放在每个单独的图标上，从而仅加载和查看与该步 骤相关的屏幕截图。您可以单击单个屏幕截图将其隐藏。 概述 大多数情况下，向数据仓库提供数据的联机事务处理 (OLTP) 源系统都没有直接连接到提 取新数据的数据仓库系统。通常，这些 OLTP 系统以外部文件的形式发送数据馈送。而这 些数据必须加载到数据仓库中（最好是并行加载）才能充分利用现有资源。 例如，由于本教程中使用的示例公司 (MyCompany) 的业务需求和磁盘空间的限制，只有过 去三年的数据与分析需求相关。这意味着在插入新数据时必须清除原数据或者利用 Oracle 数据库表压缩来释放磁盘空间。这种所谓的滚动窗口操作的维护是通过使用 Oracle 分区完 成的。 返回主题列表 前提条件 开始本教程之前，您应该： 1. 1. 11.. 安装 Oracle 数据库 11g。 创建一个名为 wkdir 的目录。将 etl.zip 下载并解压缩到 2. 2. 22.. wkdir 目录中。 返回主题列表 情景 外部表 为了将外部文件加载到它们的数据仓库中，MyCompany 使用了 Oracle 数据库外部表特性。 该特性允许将外部数据（如平面文件）在数据库中显示为一个普通的数据库表。由于可以使 用 SQL 访问外部表，因此您可以使用 SQL、PL/SQL 和 Java 的所有功能直接并行查询外 部文件。通常，您会在提取、转换和加载 (ETL) 过程中使用外部表，将数据转换（通过 SQL） 与数据加载组合到一个步骤中。对于 ETL 中很多可能的应用以及处理平面文件所在的其他 数据库环境来说，外部表都是一项非常强大的功能。外部表是使用 SQL*Loader 的替代方 法。 并行执行 并行执行可以显著减少大型数据库上的数据密集型操作的响应时间，这些操作通常与决策支 持系统 (DSS) 和数据仓库一起协同使用。您还可以在某些类型的 OLTP 系统和混合系统上 实施并行执行。简单地说，并行就是将任务分割，从而使多个进程同时执行任务，而不是在 一个进程中由一个查询执行所有任务。例如，在四个进程同时处理一年中四个不同的季度， 而不是由一个进程单独处理所有季度的情况下，您可以使用并行执行。 Oracle Oracle 使用 OOrraaccllee 分区执行滚动窗口操作 数据仓库内部管理系统中一个非常重要的任务就是保持数据与 OLTP（源）系统中的各种更 改同步。另外，从分析角度而言，数据的寿命通常很短，因此在加载新数据时必须将原数据 从目标系统中清除；这种操作通常称为滚动窗口操作。理想状况下，您应该尽快地完成此操 作，且不应涉及任何数据仓库系统的并发联机访问。 返回主题列表 为销售历史模式实施模式更改 在开始执行本 OBE 的任务之前，需要对现有的销售历史 (SH) 模式实施一些更改。您需要 在 SH 模式下创建其他对象。此外，您还需要授予 SH 用户其他系统权限。用于应用这些 更改的 SQL 文件是 modifySH_11g.sql。执行以下步骤： 打开一个终端窗口