系统设计与架构记ETL工具开发和设计的建议.docVIP

1.1.? 概述 如图1-1： ETL工具共分为三大模块：ETL核心模块、日志模块和WEB模块。 1.1.1.?? ETL核心模块 ETL核心模块是整个ETL工具的核心，它主要的功能是根据事先定义好的规则将源数据库的数据抽取到目标数据库。其主要工作流程是： 数据抽取--数据转换--数据清洗--数据加载 ETL工具里的配置数据库必须包含两个方面的数据： 元数据：元数据主要是指源数据、目标数据库以及可以用于抽取的表、字段等等信息，还有一些相关函数的定义等等。 ETL任务信息：ETL任务在我们ETL工具里称作job，job是指一个将数据从源数据库导出，并且按照一定规则导入到目标数据库的过程，ETL任务信息就是指一个job的相关配置信息。 1.1.2.?? 日志模块 良好的系统最重要的特征之一就是它的差错、容错以及能正确提供系统运行信息的特性。所以日志模块是每个系统必不可少的部分，它设计的优劣直接关系到系统后期维护的成本。 ETL工具里的日志模块，我个人认为应该包含如下的部分： 程序运行信息。这个主要是用log4j在代码里记录。 ETL任务（即job）运行失败的日志信息。一切因为程序所抛出的异常所引起的失败都要记录在log4j的运行日志里，如果能精确提炼出的常见异常，最好能记录在数据库的日志表，便于快速查找错误信息（这个在有WEB系统时候可以做）。 审计日志。审计日志是带有一定业务需求的日志，这个是否要记录看实际的需求。 错误告警。一般而言ETL抽取数据的操作都是一件漫长的事情，ETL开发人员不可能长时间坚守在系统旁边，所以当系统运行出错能在第一时间通知到相关负责人是很有必要。Log4j里有邮件通知的功能，用起来也不太难，可以考虑在日志模块加入告警的功能。 1.1.3.?? WEB模块 当我们开发好了ETL工具后我们需要一个入口，告诉我们设计的ETL工具你具体做什么样的任务。WEB模块的作用就是给用户操作的入口，我个人认为WEB模块包含以下功能： 元数据管理：主要是向配置数据库定义源数据库和目标数据库的相关信息,例如：数据库的url，用户名，密码，相关的表以及表里字段信息等等。这些信息很重要，如果没有这些信息，整个ETL作业就是无源之水，根本无法进行。 ETL任务的配置信息：即job的配置信息，这个就是定义我们ETL的抽取过程，例如ETL需要抽取的源数据库是那个，抽取那张表那些字段，按照什么规则转化数据，清洗数据，最终导入到那个目标数据库等等。 查看日志信息：这个功能可选，查看日志信息主要是提高系统的友好程度，便利系统运行信息的查看。 用户管理：这个功能暂时可选，因为我们所开发的ETL工具主要是内部使用，没有太大必要做复杂的权限管理，但是简单的用户信息管理做做应该还是必要的。 整个WEB模块也是可选的，如果人力和时间不够是没必要做一个web系统，ETL入口我们可以手动的配置任务信息。（假如真的做了WEB模块，对ETL后台的设计和开发要求也会更高）。 1.2.? 关于技术开发的一点建议 我之前看过大家写的ETL需求文档，大家考虑的非常全面，这里我暂时有两个技术建议， 建议如下： 1.2.1.?? Xml技术 Xml技术在企业级系统开发和互联网开发中使用十分广泛，xml使用的场景也是非常的多，其中一个特点非常适合我们在ETL工具开发中使用到，那就是它可以存储复杂的富有变化的数据结构。而我们定义ETL任务信息（job配置信息）就是一个复杂的富有变化的数据。大家看下面的例子： ?xml version=1.0 encoding=UTF-8?Job Id流水号/Id Extract JDBCSource Url…/Url Username…/UserName Password…/Password /JDBCSource JDNISource…/JNDISource Table…/Table Columns Column…/Column Column…/Column … /Columns Where…/Where Commit…/Commit OrderBy…/OrderBy FilePath/FilePath /Extract TransformColumns Column SrcColumn !-- 抽取的原字段--