ETL抽取工具Informatica介绍.ppt

Informatica产品介绍 PowerCenter：Informatica PowerCenter是世界级的企业数据集成平台，它在ETL领域中无论是执行能力还是战略远见方面都是佼佼者，是Informatica的核心产品 。 Informatica公司其他产品 PowerAnalyzer：BI前端工具，用于数据展现，内置了170多种分析报表，用于元数据的浏览和分析 PowerExchange：适用于连接主机数据，实时数据和CDC数据处理 SuperGlue：元数据管理工具，管理系统所有的元数据，包括BI、OLAP、Data Model、ETL工具产生的元数据。 主流的ETL厂商和产品 专业ETL厂商和产品包括Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation Informatica产品体系结构 名词解释 ETL：Extract-Transform-Load 的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。 DW：Data Warehousing，根据Bill.Inmon 的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。 Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。 解析什么是ETL？ Extract: 通过接口提取源数据，例如:ODBC、专用数据库接口和平面文件提取器。参照元数据来决定提取何处的数据和怎样提取。 Transform: 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。 Load: 加载经转换和汇总的数据到目标数据仓库中，可实现SQL 或批量加载 什么是数据仓库？ 数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称 数据仓库体系结构 数据转换指的是什么？ 数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一 产品功能 PowerCenter：按照一定格式，整合、转换、汇总、传输数据。 Informatica PowerCenter 提供专注于最主要的、最复杂的数据集成项目必须的工具和数据服务的平台，是业界领先的、具有适应性的软件，用来访问、集成和传递数据。经过精心设计的PowerCenter能够利用有效的成本去平衡数据，从而得到一个统一的扩展的企业视图。使用Informatica PowerCenter，企业能够通过“一次建立，任意部署”的方法从事多个不同的集成项目，允许更多的时间和资源花费在企业的业务上，而不是企业的业务整合上。 PowerCenter体系结构 1个或多个（Repository） PowerCenter数据整合引擎是基于元数据驱动的，提供了基于元数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该元数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据， ETL转换规则，知识库用户权限，ETL任务运行历史信息等元数据。 2个Server Informatica Repository Server：资料库Server，管理ETL过程中产生的元数据 用来管理所有对资料库中元数据的请求和操作。 Informatica Server：实际的ETL引擎 5个Client PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射 Workflow Manager：合理地实现复杂的ETL工作流，基于时间、事件的作业调度 Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告 Repository Manager：资料库管理，包括安全性管理等，元数据维护和安全操作，如：元数据查找，用户、组、权限管理等。 Repository Server Administrator Console：对知识库的操作，如：知识库的创建、备份、恢复等。 客户端工具 PowerCenter内置的部分转换组件 ?? Source Qualifier:从源表中查询出所有的数据(非XML) ?? XML Source Qualifier:从XML数据源中查询数据 ?? ERP Source Qualifier