数据库清洗产品ETL工具.docVIP

ETL工具的功能 一、非功能性需求： （1）对平台的支持 要求能支持多种操作系统。目前主流的平台包括SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco Unix、Linux、Windows等 （2）对数据源的支持 针对同一种数据库，使用通用的接口（如ODBC/JDBC）还是原厂商自己的专用接口，数据抽取效率会有很大差别，这直接关系到能不能在有限的时间内完成。（如oracle的jdbc连接方式:oci和thin的选择） ETL任务支持多种数据源： 能支持多种数据库Oracle,DB2,SQLServer, MySQL,SqlServer,Informix等。支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。 支持文本数据，支持将Excel，txt文件，csv，XML文件等文件型的数据直接作为数据源； 支持内置数据集。 支持Hadoop，hive，hbase，implan，spark等大数据平台 （3）图形化的支持 图形化ETL操作配置，要求操作简易，能帮助用户快速定义ETL规则。界面友好性、易操作性。 （4）处理速度 处理速度至少达到千行/每秒级别 二、功能性需求： （1）数据转换功能 ·数据抽取，即将源数据库表抽取到目标数据库，数据表结构不变； ·数据清洗，即整理、清洗需要转换的源数据。 ·数据转换，即源数据表按照目标数据表的要求，配置数据转换逻辑算法，源数据按照配置的算法逻辑将数据插入到目标数据库。 ·数据校验，即对数据库中的数据进行完整性校验。 ·数据补丁，即为了保证数据的完整性，需要对数据进行修改等操作。 要求ETL工具必须对抽取到的数据能进行灵活的计算、合并、拆分等转换操作。 通常会遇到的转换要求有： 字段映射； 映射的自动匹配； 字段的拆分； 多字段的混合运算； 跨异构数据库的关联； 自定义函数； 多数据类型支持； 复杂条件过滤； 支持脏读； 数据的批量装载； 时间类型的转换； 对各种码表的支持； 环境变量是否可以动态修改； 去重复记录； 抽取断点； 记录间合并或计算； 记录拆分； 抽取的字段是否可以动态修改； 行、列变换； 排序； 统计； 度量衡等常用的转换函数； 代理主键的生成； 调试功能； 抽取远程数据； 增量抽取的处理方式； 制造样品数据； 在转换过程中是否支持数据比较的功能； 数据预览； 性能监控； 数据清洗及标准化； 按行，按列的分组聚合等。 （2）管理和调度功能 ETL作业调度 支持多个作业的并发运行，可以限制最大运行作业数； 作业支持定时启动，提供多种定时策略，包括日、周、月、工作日、时、分、秒等，通过对作业定时启动可实现作业的循环自动运行； ETL作业监控 支持作业的启动、暂停、恢复运行和停止等控制； 直观的作业执行进度及状态显示； 要求采用像采用多线程、分布式、负载均衡、集中管理等高性能高可靠性与易管理和扩展的多层体系架构 基本功能： 抽取过程的备份与恢复； 升级； 版本管理； 开发和发布； 支持统一以及自定义的管理平台； 支持时间触发方式； 支持事件触发方式； 支持命令行执行方式； 支持用户对计算机资源的管理和分配； 负载均衡； 文档的自动生成； 调度过程中能否执行其他任务等 集成和开放性 与OLAP集成； 与前端工具集成； 与建模工具集成； 开放的API可将产品集成到统一界面； 是否能调用各种外部应用，包括存储过程、各种流行语言开发的应用程序等； 是否支持客户化定制的转换过程； 是否支持与统计分析工具的集成等 对元数据的管理 元数据存储的开放性； 元数据存储的可移植性； 提供多种方式访问元数据； 元数据的版本控制； 支持开放的元数据标准； 支持XML进行元数据交换； 支持分布式的元数据访问和管理； 生成元数据报表； 对于ETL过程的冲突分析； 基于元数据的查询功能； 元数据的广播和重用； 对于ETL过程的流程分析等。