ingest.docVIP

ingest DB2 10 新特性: Continue Data Ingest 客户端工具 简介： INGEST 应用工具是 DB2 Galileo（DB2 10 的开发代号） 版本中新的概念，它是一个客户端工具。用户可以用 INGEST 来进行数据的导入，它与 LOAD，IMPORT 有相似的功能。它的安装比较简单，能和低版本的数据库 Server 端进行连接和操作。 引言 INGEST 是 DB2 Galileo（DB2 10 的开发代号） 的新特性，是为了有大量持续的数据流来实时和并发的快速进行数据导入而引入的新概念。这样可以避免数据被锁，可以 24 ,,,,时对数据库进行操作。INGEST 有数据修复的功能，在数据导入中断时能找到中断点并能继续进行数据导入。INGEST 支持复杂的 SQL 表达式语法，是更加好用的客户端软件。用户可以用 INGEST 做 Insert、Update、Delete、Replace 和 Merge 操作，更方便的为客户提供服务。 INGEST 介绍 INGEST 支持文件和管道两种输入类型，支持 DEL、ASC 两种数据格式，支持 SQL 表达式，支持 Insert、Update、Replace、Delete 和 Merge 操作，支持并发更改，插入，删除，可以根据时间间隔或者数据条数来提交数据。INGEST 会把未插入的数据放入文件，表或者直接丢弃，支持修复和重启。 INGEST 支持 ESE，PureScale，DPF 环境。INGEST 与数据引擎使用标准化的外部接口，是个多线程工具，速度快，效率高。 INGEST 支持很多种表，但不支持 AQT（accelerated query tables），CGTT/DGTT（created or declared global temporary tables，typed tables）和 typed views。同时，INGEST 不支持 LOB (BLOB， CLOB， DBCLOB)， XML， structured types 这些数据类型和基于这些的自定义数据类型。 INGEST 工具有以下相关的命令： ?INGEST 来进行数据导入，最简单的语法结构是： INGEST-++ -DATA- | from FILE 或 PIPE | | format 子句 | | options | | SQL-statement | ?INGEST LIST 来显示当前的 INGEST 进程信息。 ?INGEST GET STATS 来得到当前的 INGEST 状态统计信息。 ?INGEST SET 来设置 INGEST 的一些参数，例如下面的一些参数： ?COMMIT_COUNT 来设置多少条记录作为一个事务提交； ?COMMIT_PERIOD 设置多长时间提交一次； ?NUM_FLUSHERS_PER_PARTITION 每个数据库 partition 的 flusher 数量； ?NUM_FORMATTERS； ?PIPE_TIMEOUT PIPE 输入类型的最大等待接收数据时间； ?RETRY_COUNT RETRY 的次数； ?RETRY_PERIOD RETRY 的时间间隔； ?SHM_MAX_SIZE 最大的共享内存。 INGEST 与 LOAD 和 IMPORT 对比 INGEST 与 LOAD，IMPORT 功能上的异同 INGEST 只支持 DEL，ASC 数据格式，而 IMPORT 还可以支持 WSD 和 IXF 格式，LOAD 还可以支持 IXF 和 CURSOR 格式。 INGEST 支持 ASC 数据格式的参数与 LOAD，IMPORT 不同，IMPORT，LOAD 使用 METHOD L（）来统一设置所有字段的位置，而 INGEST 分别使用 POSITION（:）来处理每一个字段的位置。 INGEST 支持把错误的数据放入文件或表中，LOAD 支持把错误的数据放入文件中，IMPORT 不支持把错误数据放到数据表或者文件中。 可与 IMPORT 导入结果相同 对于任何输入数据文件，只要满足以下条件 INGEST 和 IMPORT 命令产生的结果应该相同： ?字段定义指定的数据类型和长度与表中的列类型一样。 ?ASCII 字符串是有效不越界的。 ?输入数据使用字符分割符是一致的。即如果使用 ENCLOSED BY ‘ | ’，字符字段数据应使用一样的分割符 |。 数字类型错误处理 对于数字类型的数据，如果其中出现字符串或者数据越界现象， INGEST 的处理方式与 LOAD，IMPORT 有所不同，INGEST 会拒绝插入并报错。而 IMPORT， LOAD 则有以下的处理方式