WebSphere+DataStage+BASIC+语言开发实践.docVIP

WebSphere DataStage BASIC语言开发实践 本文着重介绍了如何使用DataStage BASIC语言开发一个用户自定义的功能函数，并且以一个完整的Server Job实例为读者讲解在Transformer Stage中如何使用内置的和自定义的函数来转化数据。文章的最后介绍了如何重用自定义的功能函数。读者定位为具有一定 DataStage使用经验的开发人员。 IBM WebSphere DataStage概述 IDataStage是一个图形化的进行数据整合的开发环境，可以用来实现数据抽取，转化，净化，加载到目标数据库或者数据仓库中即ETL过程Extract, Transform, Cleansing, Load）。DataStage使用Stage实现对数据的操作。在整个操作数据的过程中，需要创建从不同的数据源抽取数据的Stage，以及用来转化和净化数据的Stage，还需要一些Stage将数据加载到目标数据库中，一个ETL job就是一些被连线连接在一起的Stages，数据则是从一个Stage流向下一个Stage。关于DataStage的基本使用方法，读者可以参考发表在developWorks中国网站上的《用IBM WebSphere DataStage进行数据整合》系列文章。 Transformer Stage介绍 在数据整合的整个过程中，很重要的一步就是对抽取数据的格式或者内容进行必要的转化。用户可以在Transformer Stage中对传入的数据进行任何必要的处理，再把处理好的数据传给下一个Stage。 图1就是一个正在被编辑的Transformer Stage，窗口的上半部分显示了输入与输出字段之间的对应关系，其中DSLink13是输入的连线名称，DSLink4是输出的连线名称。而窗口下半部分详细说明了每一个输入或者输出字段的定义。 图1.一个Transformer Stage的实例 如果仅仅是把输入与输出字段对应起来，那并不能体现出Transformer Stage的作用。实际上，用户可以通过编辑输出字段的derivation区域的值，对输入字段的值进行修改，使其结果可以满足输出字段的要求。用户只需要双击某个字段的derivation区域（图1中的红色区域）就可以对其进行编辑。这时，再点击右键即可出现一个菜单以便用户选择DataStage 内置的或者用户自定义的功能函数的分类。当用户选择了其中的一种类型，就会弹出另一个窗口展示出DataStage中此种类型中的所有内容，如图2所示。 图2. DataStage中各种用于数据转化的功能函数 用户选中某一个函数之后，再把输入字段的名称作为这个函数的输入变量，就可以完成这个编辑的任务。图3就是编辑好的结果。 图3. 编辑后的输出字段的derivation区域 此处选用的DIGITS(Arg1)函数的功能是，去除掉输入字符串中包含的数字，只返回字符串中的所有字符。譬如DIGITS(abc123def) 的返回结果为abcdef 。 DataStage BASIC语言 开发人员一般都会有过这样的经历：一个功能强大的软件往往内置了丰富的功能函数，可以满足用户大部分的需要。但是在实际应用中，用户还是需要根据实际需求开发一些自定义的功能函数，这也就要求软件提供相应的方法使得用户能够进行二次开发和定制，从而扩展平台的功能。DataStage不仅有很多内置的功能函数，而且提供了相应的机制，可以让用户自己开发所需功能的函数。 在DataStage中，大多数自定义的函数需要使用DataStage BASIC语言进行开发。DataStage BASIC语言是一种可以运行在DataStage平台上，功能强大的面向过程的开发语言。而且这种语言对于初学者很容易入门，并能满足经验丰富的开发人员的开发需要。值得注意的是，尽管很多编程语言在定义变量的时候就严格区分了变量的类型，但是在DataStage BASIC中情况却有所不同。DataStage BASIC是一种弱类型(weak typing)的编程语言，一个变量在定义时不必声明其类型，而是统一被当作字符串保存起来，也不会因此而发生编译错误。只有在程序的执行期， DataStage才根据上下文关系来确定变量的类型 下面将用一个实际开发的例子，给读者介绍一下如何使用DataStage BASIC语言开发一个自定义的功能函数。本文中如果没有特殊说明，当提到BASIC语言时，均是指DataStage BASIC语言。 本文中自定义函数的功能是这样的： 这个函数有三个输入的变量OriStr, Delmt, BitValue和一个输出变量Ans。 其中OriStr的值是一个字符串，其中包含了由分隔符分隔开的若干个子串。比如：light_0