DB2 ingst介绍.docVIP

DB2 ingest介绍 简介： Ingest 应用工具是 DB2 Galileo 版本中新的概念 , 它是一个客户端工具。用户可以用 INGEST 来进行数据的导入 , 它有比 LOAD,IMPORT 更好的性能，本文介绍 Ingest Utility 支持的各种文件格式，并详细介绍 Ingest Utility SQL statement（ insert, update, delete, merge, replace）的用法，并给出一实例进行分析。 INGEST 是 DB2 Galileo( DB2 10 的开发代号) 的新特性 , 是为了有大量持续的数据流来实时和并发的快速进行数据导入而引入的新概念。本文将详细介绍了 INGEST 支持的各种数据文件格式，以及所支持的 insert, replace, update, delete, merge 的数据导入操作。 -------------------------------------------------------------------------------- Ingest Utility 支持的各种文件格式介绍，用法和实例分析 Ingest 工具支持两种数据格式：DELIMITED 和 POSITIONAL。语法如清单 1 所示。 选择用 DELIMITED 文件格式的时候后面跟着划分符，如果不指定，默认的是“,”，这点和 import 和 load 类似。 如果选用的是 POSITIONAL 文件格式的数据时后面可跟数据记录的长度，这个长度是指每条记录每次截取的总长度，如果 RECORDLEN 指定的长度小于各列的长度之和时就会报错并退出，如果大于各列的长度之和，ingest 工具将会忽略最后一列结尾到指定的长度之间的字节。RECORDLEN 可指定的范围是 1-32767。如果不指定 RECORDLEN 的长度，则默认是回车符或者回车换行符作为每一条记录的结束符。并且在指定 field name 之后还可以通过 POSITION 关键字指定每个 field 的起始位置。 清单 1：INGEST 支持的数据文件格式定义 |--+-DELIMITED--+----------+-----------+------------------------ | -BY--char- | -POSITIONAL--+-------------------+- -RECORDLEN--length- field-definition |--$field-name--+-----------------------------------+----------- -POSITION--(--start--+--------+--)- -:--end- 清单 2 是一个用 POSITIONAL 格式但没有指定 RECORDLEN 参数的例子。 在 a.asc 文件中，每一行的第 12 位中不为空，第 17 到 19 位也有字符存在。但因为有 ingest 语句中指定了 position 的起始位置，所以 ingest 工具只取 position 指定的起始位置，并不关心别的位置有无字符。并且此处没有指定 RECORDLEN 的长度，所以默认为回车换行符为一行的结束位置。 清单 2: POSITIONAL INGEST 示例 数据文件 a.asc 的内容 2 2001 552010aaa 25 2002 452011bbb 143 2003 2c2012ccc 1555 2004 3b2013ddd 1309 2005 7a2014eee 执行 INGEST 语句的结果 INGEST FROM file format21_01.asc format POSITIONAL ( $field1 POSITION(1:4) int external, $field2 POSITION(6:9) DATE YYYY, $field3 POSITION(11:11) TIME H, $field4 POSITION(13:16) TIMESTAMP YYYY ) restart off insert into t1(perkey,perioddate, periodtime, periodts) values($field1,$field2,