SQLLOADER可视化数据导入方法研究.docVIP

SQLLOADER可视化数据导入方法研究 　　摘要：简要介绍了SQL*Loader工具的主要功能和优缺点，为解决SQL*Loader可视化不强的缺点，提出了使用SQL*Loader工具的可视化数据导入方法。最后给出了具体实例和部分关键代码，验证了所提方法的正确性和可行性。 　　关键词：SQL*Loader；可视化；数据导入；控制文件；批处理 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）07-1478-03 　　现在G字节的数据库已经很普遍，数据仓库通常都达到了T字节容量，随着数据库的增长，使用外部数据快速有效地填充数据库的需求变得非常重要。为迎接这个挑战，Oracle提供了一个称为SQL*Loader的工具。SQL*Loader专门为Oracle数据库进行设计，具有功能强大、数据加载快速的优点，但必须使用命令行窗口进行调用，对使用人员要求比较高，操控性不强。如何能方便快捷的使用SQL*Loader工具进行数据导入，并且实现可视化操作，则成为一个普遍的问题。为实现可视化的使用SQL*Loader工具进行数据导入，笔者使用Delphi7作为程序开发工具，开发出一个小软件。该软件可以在界面上设置导入数据的几种主要参数，并调用SQL*Loader工具将外部数据快速导入到Oracle数据库中。需要说明的是本软件仅使用SQL*Loader工具的部分主要功能来验证可视化的数据导入方法，以起到抛砖引玉的作用。 　　1 SQL*Loader简介 　　SQL*Loader工具能够将数据从外部数据文件装载进Oracle数据库。外部文件为文本格式的各种文档，可以是TXT、DAT、CSV等。SQL*Loader的中枢核心是控制文件，控制文件能够控制外部数据文件中的数据如何映射到Oracle的表和列。SQL*Loader输入数据类型完全独立于它们将被载入的数据库列的数据类型。在控制文件中使用的语言是SQL*Loader数据定义语言（Data Definition Language，DDL）。SQL*Loader在执行过程中还将生成日志文件、错误文件和废弃文件。SQL*Loader的装载方式有常规路径和直接路径装载两种，默认为常规路径装载。常规路径装载使用SQL INSERT语句和内存中的键数组缓存将数据直接路径映射输入数据项到数据库表中，这个过程与其他进程竞争SGA内部的内存资源，会降低装载的性能。直接路径装载不需要使用SQL INSERT语句和键数组缓存，格式化输入数据到Oracle数据块并将它们直接写入数据库中，在速度上较常规路径装载快。SQL*Loader工具的组件见图 1。 　　 　　图 1 SQL*Loader组件 　　1.1 SQL*Loader的特点 　　可以从不同文件类型的多个输入数据文件中装载数据；输入记录可以是定长的或变长的记录；可以在同一次运行中加载多个表，还可以逻辑地将选定的记录载入到每个不同的表中；在输入数据载入表之前，可以对其使用SQL函数；多个物理记录可以被编译成一个逻辑记录，同样，SQL可以提取一条物理记录并把它作为多个逻辑记录加载；支持嵌套列、嵌套表、VARRAYS和LOBS。 　　1.2 SQL*Loader的缺点 　　SQL*Loader虽然能够快速装载数据到Oracle数据库，但是，使用语法不直观，只能从命令行窗口处进行调用，使用命令编写控制文件，缺少可视化的操作界面，使用不直观、专业性强，不易操作，从而制约了其使用范围。 　　1.3 可视化数据导入解决的问题 　　基于SQL*Loader的可视化数据导入功能可以既具备SQL*Loader的导入数据快速、强大，又操作简单，界面直观，能较好的弥补通过命令行使用SQL*Loader工具的不足，受众面广。 　　2 SQL*Loader的可视化数据导入方法的设计与实现 　　首先提供可视化的参数编辑界面，进行数据导入的参数设置，将参数写入控制文件；其次生成调用SQL*Loader的批处理文件，批处理文件需指定连接数据库的用户、控制文件、日志文件及导入数据时的相关参数；最后执行批处理文件，批处理文件将调用SQL*Loader工具执行控制文件内容，快速导入数据到数据库，并生成日志文件。下面将说明实现可视化数据导入的主要步骤和关键代码。 　　2.1 参数设置 　　选择设定需要导入数据的目标表，选择数据文件，根据数据文件的数据格式，设置字段分隔符、数据括号、跳过行数、装载行数、装载方式、每次提交行数，参数设置好后还需要指定错误文件、废弃文件的路径。界面设计如图 2： 　　生成控制文件中命令行的关键代码如下： 　　2.2 字段匹配 　　进行目标表和数据文件数据的字段匹配，生成导入列位置的字符串。首先根据配置好的参数读取部分外部数据文件中的数据，